meta-llama/llama

Ollama: 500, message='Internal Server Error', url='http://host.docker.internal:11434/api/chat'

zhai-hello opened this issue · 0 comments

zhai-hello commented

python convert_hf_to_gguf_update.py F:/t5_translate_en_ru_zh_large_1024
创建gguf成功，
然后，创建Modelfile，并写入类似下面的内容。
FROM .\T5_Translate_En_Ru_Zh_Large_1024-851M-F16.gguf -f Modelfile
然后运行
ollama create T5_Translate_En_Ru_Zh_Large_1024-851M-F16.gguf -f Modelfile

以上，都没问题

进入openwebui，选择 ollama create T5_Translate_En_Ru_Zh_Large_1024-851M-F16.gguf -f Modelfile，进入聊天，随便输入内容，然后提示
Ollama: 500, message='Internal Server Error', url='http://host.docker.internal:11434/api/chat'
01