ernie-research/Tool-Augmented-Reward-Model

关于损失函数问题

QingChengLineOne opened this issue · 3 comments

QingChengLineOne commented

我在reward_model.py文件中找到了rm_loss的计算方法，但是我没有找打公式2的loss的计算代码，你能指出代码所在的位置吗？

flow3rdown commented

你好，具体loss计算过程位于此处，有关L_Tool, L_Observation和L_Rationale是否会加入loss的计算是通过数据处理部分实现的，参考此处。

QingChengLineOne commented

你好，具体loss计算过程位于此处，有关L_Tool, L_Observation和L_Rationale是否会加入loss的计算是通过数据处理部分实现的，参考此处。
抱歉，根据你的指引，我还是没看到图中公式的loss的计算方式，你能提供更详细的说明吗？
image

cyk1337 commented

For LM loss calculation, refer to here.