37MobileTeam/iChatGPT

流式输出

jizhipen opened this issue · 14 comments

jizhipen commented

一次性输出，答案需要等待很长时间，可否改成流式输出，像官网那样

iHTCboy commented

@jizhipen 参考 #28 现在API接口是一次返回内容，不是我们想等全部内容才显示啊，所以可能没有必要逐字输出。

等待需要时间，是OpenAI本身服务器压力大，响应慢啊

另外，v2.2 版本已经有优化，增加超时时间，和减少上下文内容。目前我这边测试，2~5秒有响应啊。后继版本增加开关，是否带上下文，加速请求速度啊

你看看还有什么建议啊

jizhipen commented

正是因为服务器响应慢，所以才需要流式输出啊。一个比较长的答案，逐句输出，人不需要等待，可以逐句阅读，等答案输出完，人也就看完了。如果等全部生成了一次返回，人就需要等待较长的时间才能看到答案。
这两种情况，完整答案生成的时间是一样的，但是人等待的时间是不一样的。前者体验更好，人不需要等待，能有“实时”的错觉。后者就是需要等好几秒才能开始看到答案，体验差。

  • 👍2
iHTCboy commented

@jizhipen 明白了，后继版本增加一下可选输出方式啊，预计周末会迭代上啊

Hext123 commented

官方API是支持流式返回的, 加一个字段"stream": true, 然后就跟下载文件一样, GPT生成第一个字就会返回过来, 逐字返回的, 客户端再配合打字机效果, 体验会好很多. (不过开发者处理逻辑又要多掉一些头发😂)

{
    "model": "gpt-3.5-turbo",
    "messages": [
        {
            "role": "user",
            "content": "hi!"
        }
    ],
    "stream": true
}
iHTCboy commented

@Hext123 好的，感谢建议反馈，周末迭代一版🤩 敬请期待~

RealLau commented

iOS的SwiftUI流式输出迄今都没看到一个好的解决方案，打字机效果得判断word，不知道怎么这么麻烦 坐等大佬出demo @iHTCboy

Creolophus commented

@Hext123 好的，感谢建议反馈，周末迭代一版🤩 敬请期待~

大佬有计划了吗~

  • 👍1
ah-kevin commented

同上 , 支持stream流的

ah-kevin commented

还没支持嘛****@_@****

iHTCboy commented

@Creolophus @ah-kevin 五一出去嗨了，下周末开始看看啊，也欢迎大家提 PR

  • 👍1
  • 🚀1
ah-kevin commented

@Creolophus @ah-kevin 五一出去嗨了，下周末开始看看啊，也欢迎大家提 PR

ios还不是很会，嘻嘻

RealLau commented

大佬们， any update? swift菜逼表示整了好几天都没整出来流式输出，各种蛋疼😭
这儿有个示例，但是也是先有完整的文字再配合字符打印效果，不知道怎么跟流式输出结合：
https://stackoverflow.com/questions/75838810/how-can-i-create-a-chatgpt-print-animation-in-swiftui

37MobileTech commented

@jizhipen @Hext123 @ah-kevin @RealLau @Creolophus

v2.7 已经支持流式输出~

Downlad：

  • 👍1