关于预训练
nuoma opened this issue · 2 comments
nuoma commented
你好！可否透露一下你们的增量预训练阶段的：
-语料的大致情况：因为我看到你们和出版社合作，提供的是什么样量级的文本？干净程度？以及是否全集中在教育领域？
-计算资源和大致的时间。
-是否使用了Lora进行预训练。
谢谢！
renmengjie7 commented
你好！可否透露一下你们的增量预训练阶段的： -语料的大致情况：因为我看到你们和出版社合作，提供的是什么样量级的文本？干净程度？以及是否全集中在教育领域？ -计算资源和大致的时间。 -是否使用了Lora进行预训练。
谢谢！
readme中好像没有提到继续预训练?
nuoma commented
哦对哦，眼睛花了。我看到educhat-base就默认是一个增量训练的基座模型。我的我的issue closed