kekewind/huggingface-inference-toolkit

Hugging Face Inference Toolkit used to serve transformers, sentence-transformers, and diffusers models.Hugging Face Inference Toolkit 是一个HF官方发布的用于在容器中服务 Transformers 模型的工具包。该库提供了默认的预处理、预测和后处理功能，适用于 Transformers、diffusers 和 Sentence Transformers 模型。用户还可以通过自定义 handler.py 文件进行个性化定制。

PythonApache-2.0