LinkSoul-AI/Chinese-Llama-2-7b

请教一下用open-api-server跟inference-hf 回答问题不一致的问题

ibmxiang opened this issue · 0 comments

对应的脚本为:
python310 scripts/inference/inference_hf.py
--base_model /root/chinese-alpaca-2-7b
--with_prompt
--interactive

python310 scripts/openai_server_demo/openai_api_server.py --base_model /root/chinese-alpaca-2-7b --gpus 0

感觉两个回答的问题完全不一样,一个类似于gpt一个类似于国内某些大模型。
在api接口调用时 :
生成内容为:'text': '1. 九绵高速气势雄伟,如巨龙盘旋山间。\n2. 收尾阶段,2024年全线通车,将带动沿线发展。\n3. 九绵高速施工难度大,桥隧比高。\n4. 绵阳广播电视台融媒体中心报道,深入了解九绵高速建设。\n5. 冯梦晗、廖琪平、廖琪平、廖琪平、廖琪平、廖琪平、廖琪平、廖琪平、廖琪平、廖琪平、廖琪平、廖琪平

在本地推理的时候生成的为:Response:

  1. 九绵高速气势雄伟!
  2. 收尾阶段,期待通车!
  3. 助力沿线发展,意义重大!
  4. 建筑奇迹,令人惊叹!
  5. 工程之美,值得铭记!
  6. 交通便利化,带来新机遇!
  7. 绵阳人民翘首期盼!
  8. 宏伟规划,未来可期!
  9. 技术创新,成就辉煌!
  10. 建设成果,值得骄傲!