dandelionsllm/pandallm

权重转换脚本不支持来自 Facebook 的原版权重

ShadowPower opened this issue · 2 comments

使用了项目中的 apply_delta.py 搭配来自 Facebook 的原版权重进行转换
错误如下:
OSError: E:/MetaAI/LLaMA/7B does not appear to have a file named config.json. Checkout 'https://huggingface.co/E:/MetaAI/LLaMA/7B/None' for available files.

原版的权重目录里确实不包含 config.json 文件,请问应如何转换成兼容本项目的版本?

需要先用HF的脚本把LLaMA的原版权重转成HF版本的:
https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py

然后用apply_delta.py把我们提供的权重和HF版本的LLaMA权重进行合并。

已经解决了,感谢