xverse-ai/XVERSE-65B

模型推理有什么可用的加速策略嘛

cdxzyc opened this issue · 1 comments

cdxzyc commented

如题

可以尝试使用trt-llm + trtion部署,或者vllm进行加速推理