i请问一下lora fintune chatglm的时候，data_collector函数里面为什么没有attention_mask相关内容呀
zzy347964399 opened this issue · 1 comments
zzy347964399 commented
i请问一下lora fintune chatglm的时候，data_collector函数里面为什么没有attention_mask相关内容呀
zzy347964399 commented
GLM内部会对Input检查并加上，所以attention mask 和 position id 可以不丢给trainer #mymusise/ChatGLM-Tuning#256