对codeqwen-base模型进行pretrain的一些问题
YuMingtao0503 opened this issue · 1 comments
YuMingtao0503 commented
Reminder
- I have read the README and searched the existing issues.
Reproduction
我有一些自研的框架代码想在base模型上进行pt学习，但是我看了一下qwen1.5用来分隔文档用的是endoftext，但是调用qwen的template用的是im_end,我想知道这样是否会有影响。
Expected behavior
No response
System Info
No response
Others
No response
hiyouga commented
pretrain 不需要指定 template