ollama 实现分享
yangxiaoshuai2333 opened this issue · 1 comments
yangxiaoshuai2333 commented
近期打包了下[lawyer-llama-13b-v2]的q4量化并上传到了ollama，提示词采用的qwen提示词，性能相较案例有所下降，不过基本满足问题需求。ollama测试可用版本为0.1.32，0.1.48以上版本不可用GPU模式。
推荐使用ollama镜像方式部署，不妨碍其他版本ollama使用。镜像要求同样为0.1.32
ollama 库地址为 xiaoshuai111/lawyer-llama-13b-v2
使用方法：ollama run xiaoshuai111/lawyer-llama-13b-v2
luciusssss commented
感谢分享！已将此内容加入README的“社区贡献”部分。