OpenMOSS/CoLLiE

[BUG] 使用 CollieDatasetForClassification 在 helm 风格下进行分类评测时,max new token 截取存在问题

Closed this issue · 0 comments

KYLN24 commented

使用 CollieDatasetForTraining 在 helm 风格下进行分类评测时,如果模型生成的长度没有达到max new token,collie 也会截取 max new token 个 token 进行评测。且截取的位置存在问题。

如使用 MMLU 测评时,模型只会输出选项 ABCD,当max new token>1时,会出现这一错误。