[BUG] 使用 CollieDatasetForClassification 在 helm 风格下进行分类评测时,max new token 截取存在问题
Closed this issue · 0 comments
KYLN24 commented
使用 CollieDatasetForTraining 在 helm 风格下进行分类评测时,如果模型生成的长度没有达到max new token,collie 也会截取 max new token 个 token 进行评测。且截取的位置存在问题。
如使用 MMLU 测评时,模型只会输出选项 ABCD,当max new token>1时,会出现这一错误。