【深度学习模型部署框架】支持tensorflow/torch/tensorrt/vllm以及更多nn框架、支持dynamic batching、streaming、可限制、可拓展、高性能。帮助用户快速地将模型部署到线上，并通过HTTP/RPC接口方式提供服务。
Primary LanguageC++
No one’s star this repository yet.