關於在 LM Studio 使用此模型…
zhihmeng opened this issue · 1 comments
zhihmeng commented
Hi,
請問一下在 LM Studio 裡面要怎麼設定才能讓這個模型的輸出效果跟示範網站 twllm.com 有一致的效果？
我目前是用 M3 Max 48G RAM 的機器在做部署…模型選用的是 audreyt/Taiwan-LLM-13B-v2.0-chat-GGUF 這個版本…
發現同樣的問題…給出的答案跟 twllm.com 的詳細程度差異很大…不曉得是不是設定上造成的差異…
再麻煩你解惑了…
謝謝…
adamlin120 commented
有可能是量化時 calibration data 的選用問題。 之後的模型會 盡量 量化好一起釋出。