xusenlinzy/api-for-open-llm

我现在部署了很多模型，有没有一个webui 界面让我来统一调用部署的模型进行推理

Tendo33 opened this issue · 3 comments

Tendo33 commented

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

可以将部署的模型统一在webui 进行管理和推理，只需要填写模型名和本地的api-base 就可以调用到

基本示例 | Basic Example

None

缺陷 | Drawbacks

streamlit-demo 只能选择一个模型进行对话

未解决问题 | Unresolved questions

No response

xusenlinzy commented

更新一下代码试试
image

  • 👍1
Tendo33 commented

GLM4 出了，template 可能要更新一下

xusenlinzy commented

已经更新了

  • 👍1