Tlntin/Qwen-TensorRT-LLM

多机多卡推理

Opened this issue · 3 comments

zhudongwork commented

大佬，支持同一个集群里面的多机多卡推理不

Tlntin commented

理论可以，我没测试过。

zhudongwork commented

多机多卡的话是不是就不能用docker了，直接在宿主机上装环境

Tlntin commented

不确定，去官方仓库看了一下，暂时没有多机多卡的成功案例，可能还不支持。