taoqinghua/QDServing

ml模型分布式服务部署：grpc，flask；docker

代码目录

.
├── model_serving             # ml模型服务（gRPC服务）
│   ├── app
│   ├── conf
│   ├── logs
│   ├── README.md
│   ├── run_client.py
│   ├── run_service.py
│   └── test.py
├── qd_serving                # 负载均衡、业务服务（flask/gRPC服务）
│   ├── app
│   ├── conf
│   ├── logs
│   ├── README.md
│   ├── flask_run.py
│   ├── grpc_run.py
│   └── test.py
├── README.md
├── QDModelServing.jpg