💡 [REQUEST] - 如何多卡运行？
deku0818 opened this issue · 2 comments
deku0818 commented
起始日期 | Start Date
No response
实现PR | Implementation PR
No response
相关Issues | Reference Issues
No response
摘要 | Summary
请问怎么多卡运行，当单卡无法满足模型运行，如何多卡运行呢
基本示例 | Basic Example
请问怎么多卡运行，当单卡无法满足模型运行，如何多卡运行呢
缺陷 | Drawbacks
请问怎么多卡运行，当单卡无法满足模型运行，如何多卡运行呢
未解决问题 | Unresolved questions
No response
deku0818 commented
用vllm 设置了 TENSOR_PARALLEL_SIZE=2 但还是用的一张卡
xusenlinzy commented
使用docker启动的话，这个地方也要修改，比如两张卡就写 ['0', '1']