多卡推理部署VisCPM-Chat
yan-muzhou opened this issue · 1 comments
yan-muzhou commented
请问可以多卡部署吗？如果可以的话，具体怎么操作可以教教吗？一张3090显存不太够，对话稍微长一些就会爆显存，BMInf速度又太慢。
yan-muzhou opened this issue · 1 comments
请问可以多卡部署吗？如果可以的话，具体怎么操作可以教教吗？一张3090显存不太够，对话稍微长一些就会爆显存，BMInf速度又太慢。