预训练mengzi是可以按照预训练BERT的方式吗？

Question

sherlcok314159 opened this issue 3 years ago · 3 comments

Answer 1 · 2021-10-27T14:09:16.000Z

没有太理解你的问题，是指基于现有模型继续训练么？

Answer 2 · 2021-10-28T01:02:14.000Z

不好意思，是我表述不清，是基于mengzi这个模型继续预训练

Answer 3 · 2021-10-28T06:06:20.000Z

可以的，我们在结构上和 BERT 保持一致就是为了兼容用户现有的 BERT 代码