Langboat/Mengzi

没找到官方的预训练脚本，只用MLM做继续预训练效果如何？

ShadowTeamCN opened this issue · 1 comments

ShadowTeamCN commented

缺少其他的预训练任务感觉会破坏模型效果

Ag2S1 commented

如果你做领域适应的话应该会有效果，前提是数据质量足够好