KMnO4-zx/huanhuan-chat

数据集inputs和labels重合的问题

Closed this issue · 2 comments

YuGuilliman commented

我发现做SFT中的inputs和labels出现了重合，请问这是合适的吗？本人现在还是在入门LLM的小白，不大懂这方面
9aeb84528d5f5cb5f975a9e04ec3af2

KMnO4-zx commented

正常的，input_ids是包含label的，只不过在训练过程中只计算label的loss

YuGuilliman commented

啊，谢谢你的回答