xusenlinzy/api-for-open-llm

💡 [REQUEST] - 支持chatglm3-6B

wuzechuan opened this issue · 3 comments

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

希望能支持chatglm3-6b 模型的部署

基本示例 | Basic Example

缺陷 | Drawbacks

未解决问题 | Unresolved questions

No response

可以直接换成glm3,可以正常运行
image

但是streamlit的接口好像是有些问题:
当我使用 OPENAI_API_BASE=http://127.0.0.1:8000/v1 streamlit run streamlit_app.py 运行时,会出现问题:

image

是不是streamlit 提供的请求格式不正确?

最新代码已添加支持