IEIT-Yuan/Yuan-2.0

请问支持VLLM或者TRT部署么？

qibao77 opened this issue · 1 comments

qibao77 commented

yuan2.0-2B模型是否支持VLLM或者TRT部署，有测试过么？

Shawn-IEITSystems commented

TRT的部署我们正在开发相关代码，会近期开源。