X-D-Lab/LangChain-ChatGLM-Webui

接口的打字机效果失效

Opened this issue · 1 comments

部署在服务器后,调用接口进行模型交互,可是打字机的效果一直出不来,用postman调的结果都是整体返回后看到的全量结果,这个要如何做到流式输出?

请确认model.create{}中是否有或者参数stream值是否为True,
例如:
response = model.create(
model='
',
messages=“*****”,
temperature=0.5,
stream=True
)