CVI-SZU/Linly

请问OpenLLaMA-13B在转换为hf模型时，convert_llama_from_tencentpretrain_to_hf.py直接复制了词表tokenizer.model，open_llama.model没有用到，是正常的吗？

chk4991 opened this issue · 1 comments

chk4991 commented
请问OpenLLaMA-13B在转换为hf模型时，convert_llama_from_tencentpretrain_to_hf.py直接复制了词表tokenizer.model，open_llama.model没有用到，是正常的吗？
greatzane commented

把open_llama.model拷过去覆盖tokenizer.model，然后在config.json中把vocab_size改成50000。