MiuLab/Taiwan-LLM

網頁Demo與程式碼執行結果有落差

RosieYC opened this issue · 1 comments

RosieYC commented

網頁Demo與程式碼執行結果有落差，範例問題的生成結果無法達到相似回答，以下為程式碼測試結果:
image

啟動模型程式碼如下:
(已預先離線模式在提供容器鏡像內放入預訓練模型，該容器為hello-world，)
docker run --gpus all --shm-size 1g -p 10010:80 -v "/data/program/yentinglin_Taiwan-LLaMa-v1.0":/data/program/yentinglin_Taiwan-LLaMa-v1.0 hello-world:v1.0 --model-id "/data/yentinglin_Taiwan-LLaMa-v1.0" --num-shard 1 --max-input-length 200 --max-total-tokens 2000

如何執行才能與網站Demo(https://huggingface.co/yentinglin/Taiwan-LLaMa-v1.0/tree/main) 生成結果相似?

nigue3025 commented

網頁Demo與程式碼執行結果有落差，範例問題的生成結果無法達到相似回答，以下為程式碼測試結果: image

啟動模型程式碼如下: (已預先離線模式在提供容器鏡像內放入預訓練模型，該容器為hello-world，) docker run --gpus all --shm-size 1g -p 10010:80 -v "/data/program/yentinglin_Taiwan-LLaMa-v1.0":/data/program/yentinglin_Taiwan-LLaMa-v1.0 hello-world:v1.0 --model-id "/data/yentinglin_Taiwan-LLaMa-v1.0" --num-shard 1 --max-input-length 200 --max-total-tokens 2000

如何執行才能與網站Demo(https://huggingface.co/yentinglin/Taiwan-LLaMa-v1.0/tree/main) 生成結果相似?

可以參考這個
#19 (comment)

  • 👍1