FoloToy/folotoy-server-self-hosting

Docker LLM接口错误提示不够精确

Opened this issue · 1 comments

Bossjava commented

Oneapi 接口实际返回

{
    "error": {
        "message": "当前分组 xx 下对于模型 gpt-3.5-turbo1 无可用渠道",
        "type": "one_api_error"
    }
}

Docker Log记录的是 503 service unavailable 服务不可用 还有 服务负载过高 之类的提示错误。排查半天~

lewangdev commented

因为服务用的是 OpenAI 官方的 sdk，openai 官方的 SDK 没有 oneapi 中的错误定义，我看看是否可以把所有错误都打印出来