请问支持多机推理吗？

[zbtrs]

想用多机多卡来推理llama2 70B模型，目前已知可以实现单机多卡，想知道多机多卡是否可以实现呢？

[hiworldwzj]

@zbtrs 现在的实现只能单机多卡 部署 推理实列。 多机多卡只能每台机器部署实列然后同时服务。