Tlntin/Qwen-TensorRT-LLM

编译tritonserver 镜像 失败

maozixi1 opened this issue · 4 comments

Tlntin commented

换0.8.0,目前在当前项目的main分支，triton这块目前测试是ok的，不需要自己编译了。

maozixi1 commented

换0.8.0,目前在当前项目的main分支，triton这块目前测试是ok的，不需要自己编译了。

谢谢，请问部署triton时如何设置多gpu或者指定显卡

Tlntin commented

编译的时候指定多卡--world_size 2 --tp_size 2，部署的时候配置文件有一个指定gpu的参数。

maozixi1 commented

编译的时候指定多卡--world_size 2 --tp_size 2，部署的时候配置文件有一个指定gpu的参数。

好的，谢谢