推理速度比较慢

[Jingzhenzxz]

很奇怪，同样的模型，不套Langchain-chatchat项目输出答案的速度就很快，套上后就很慢，请问这是什么原因？（尤其是CodeShell-7B-Chat模型，速度慢得完全不能用）我的机器的系统是centos7，GPU显存为22G。

[zpczpc]

我也遇到了最后怎么解决的

[Jingzhenzxz]

我也遇到了最后怎么解决的

我的CUDA版本太低了，导致项目用的CPU进行推理，升级一下CUDA就可以了。
另外我这个issue提错地方了，我用的是chatchat项目，不是这个项目。