ymcui/Chinese-LLaMA-Alpaca-2

llama.cpp部署出现格式错误

HelloEveryonehh opened this issue · 3 comments

提交前必须检查以下项目

  • 请确保使用的是仓库最新代码(git pull),一些问题已被解决和修复。
  • 我已阅读项目文档FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案。
  • 第三方插件问题:例如llama.cppLangChaintext-generation-webui等,同时建议到对应的项目中查找解决方案。

问题类型

模型量化和部署

基础模型

Others

操作系统

Linux

详细描述问题

(llama) root@autodl-container-acc74095be-783d5f09:~/autodl-tmp/llama.cpp# python convert.py /root/autodl-tmp/chinese-alpaca-2-7b-64k

依赖情况(代码类问题务必提供)

bitsandbytes             0.39.1
peft                     0.3.0
sentencepiece            0.1.97
torch                    2.0.1
transformers             4.31.0

运行日志或截图

(llama) root@autodl-container-acc74095be-783d5f09:~/autodl-tmp/llama.cpp# python convert.py /root/autodl-tmp/chinese-alpaca-2-7b-64k
Loading model file /root/autodl-tmp/chinese-alpaca-2-7b-64k/pytorch_model-00001-of-00002.bin
Traceback (most recent call last):
  File "/root/autodl-tmp/llama.cpp/convert.py", line 1474, in <module>
    main()
  File "/root/autodl-tmp/llama.cpp/convert.py", line 1410, in main
    model_plus = load_some_model(args.model)
  File "/root/autodl-tmp/llama.cpp/convert.py", line 1270, in load_some_model
    models_plus.append(lazy_load_file(path))
  File "/root/autodl-tmp/llama.cpp/convert.py", line 888, in lazy_load_file
    raise ValueError(f"unknown format: {path}")
ValueError: unknown format: /root/autodl-tmp/chinese-alpaca-2-7b-64k/pytorch_model-00001-of-00002.bin

详细描述问题:
同样的操作在colab上可以实现,但是在autodl A100-40GB上就会报上述错误

是只有这一个模型转换不了,还是其他模型也都不行?比如原版英文llama-2能否在你的A100上转换?

是只有这一个模型转换不了,还是其他模型也都不行?比如原版英文llama-2能否在你的A100上转换?

您好,这个问题已解决,是我git lfs的时候没有把模型整体下载下来