yangjianxin1/CPM

关于模型输入label的问题

shawroad opened this issue · 2 comments

shawroad commented

您好，在gpt2这种生成模型中，输入的真实label不应该是和输入的input_ids错位吗？然后进行损失计算。 我看您代码中是没有错位的，因为什么原因呢？ 谢谢了~

syspider commented

他复用了GPT2LMHeadModel这个类里的loss，这里面计算loss的时候已经错位了，你可以看源码

shawroad commented

OK 我一般是自己实现这个loss，所以没细看