建议加入对ollama本地部署大模型的支持
Closed this issue · 2 comments
xuexiaojingquan commented
建议加入对ollama本地部署大模型的支持
Aidengiveup commented
事实上可以直接使用chatGPT(openAI)的引擎格式来调用ollama的服务：这是我的配置，我使用的是经过调整的qwen2:7b
除此之外还可以看看这个：https://www.53ai.com/news/qianyanjishu/772.html来对本地模型数据和system prompt调整 。
本地大模型的缺点：偶尔还是会出现解释和回答问题的情况,解决方法是手动修改或者忽视
而且我总觉得本地模型翻译性价比还是不如谷歌api翻译。在并发速度、准确性、使用门槛上。
xuexiaojingquan commented
这样确实可以直接支持ollama，谢谢！！！
---- 回复的原邮件 ----
***@***.***>发送日期2024年6月30日 ***@***.***>***@***.***>,
***@***.***>主题Re: [bookfere/Ebook-Translator-Calibre-Plugin] 建议加入对ollama本地部署大模型的支持 (Issue #328)
事实上可以直接使用chatGPT(openAI)的引擎格式来调用ollama的服务：这是我的配置，我使用的是经过调整的qwen2:7b
image.png (view on web)
除此之外还可以看看这个：https://www.53ai.com/news/qianyanjishu/772.html来对本地模型数据和system prompt调整 。
本地大模型的缺点：偶尔还是会出现解释和回答问题的情况,解决方法是手动修改或者忽视
而且我总觉得本地模型翻译性价比还是不如谷歌api翻译。在并发速度、准确性、使用门槛上。
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>