openmedlab/PULSE

请问能否支持llama.cpp量化版本以轻量化部署？

Opened this issue · 1 comments

1-2-3 commented
请问能否支持llama.cpp量化版本以轻量化部署？
zhangxiaofan101 commented

在新开源的版本中我们提供了兼容LMdeploy的解决方案，以及基于GPTQ的解决方案。