geekr-dev/openai-proxy

已经部署好了，欢迎大家啊使用 🤭：https://openai.proxy.mailjob.net

jefferyjob opened this issue · 4 comments

jefferyjob commented
已经部署好了，欢迎大家啊使用 🤭：https://openai.proxy.mailjob.net
geekr-dev commented

我这两天打算让它支持流式响应

  • 👍1
blueicesir commented

SSE支持，请参考 https://github.com/rakyll/openai-go 中的openai.go代码，需要使用bufio.NewScanner()读取http的Response数据，分片返回就可以了。

另外互联网上查了一下Server Sent Events说只支持GET方式的http请求，当实际openai的API是通过POST方式发起的，只是openai的服务器检查到stream=true时，会采用这种分片的方式发送数据，分别event有data两行，其中data中就是需要返回的json数据，你做代理就直接分片中转发送给客户。

  • 🚀2
jefferyjob commented

我这两天打算让它支持流式响应

期待支持，哈哈