请问支持多机推理吗?
Closed this issue · 1 comments
zbtrs commented
想用多机多卡来推理llama2 70B模型,目前已知可以实现单机多卡,想知道多机多卡是否可以实现呢?
hiworldwzj commented
@zbtrs 现在的实现只能单机多卡 部署 推理实列。 多机多卡只能每台机器部署实列然后同时服务。
Closed this issue · 1 comments
想用多机多卡来推理llama2 70B模型,目前已知可以实现单机多卡,想知道多机多卡是否可以实现呢?
@zbtrs 现在的实现只能单机多卡 部署 推理实列。 多机多卡只能每台机器部署实列然后同时服务。