权重转换脚本不支持来自 Facebook 的原版权重
ShadowPower opened this issue · 2 comments
ShadowPower commented
使用了项目中的 apply_delta.py 搭配来自 Facebook 的原版权重进行转换
错误如下:
OSError: E:/MetaAI/LLaMA/7B does not appear to have a file named config.json. Checkout 'https://huggingface.co/E:/MetaAI/LLaMA/7B/None' for available files.
原版的权重目录里确实不包含 config.json 文件,请问应如何转换成兼容本项目的版本?
SparkJiao commented
需要先用HF的脚本把LLaMA的原版权重转成HF版本的:
https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py
然后用apply_delta.py
把我们提供的权重和HF版本的LLaMA权重进行合并。
ShadowPower commented
已经解决了,感谢