/xiier-fastchat

支持qptq量化模型的fastchat

Primary LanguagePythonApache License 2.0Apache-2.0

支持vicuna-13的openai接口

1. 下载模型

2. 安装FFmpeg (可选项,当asr识别不了可以选)

3. 启动openai接口服务