Closed this issue a year ago · 3 comments
您好，对你的数据预处理代码有些疑问，你的labels 和 input 都是直接对应的，labels 不用向右shift 一位吗？
labels 不用向右shift 一位怎么理解呢
就是自回归模型，比如输入文本是："今天天气很好"，其对应的label就是："天天气很好<结束符>"
看了 AutoModelForCausalLM 相关模型的实现源码，其内部实现已经默认对label做了shift操作，谢谢作者