xusenlinzy/api-for-open-llm

使用 streamer_v2 会造成乱码

Tendo33 opened this issue · 2 comments

提交前必须检查以下项目 | The following items must be checked before submission

  • 请确保使用的是仓库最新代码(git pull),一些问题已被解决和修复。 | Make sure you are using the latest code from the repository (git pull), some issues have already been addressed and fixed.
  • 我已阅读项目文档FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案 | I have searched the existing issues / discussions

问题类型 | Type of problem

模型推理和部署 | Model inference and deployment

操作系统 | Operating system

Linux

详细描述问题 | Detailed description of the problem

在代码中我注意到从 commit f75a360 开始, 后续默认使用 streamer_v2。
但是微调过后的模型进行部署会出现乱码,切换为以前的commit 则恢复正常。

Dependencies

# 请在此处粘贴依赖情况
# Please paste the dependencies here

运行日志或截图 | Runtime logs or screenshots

乱码内容如下:

|  |  |
| --- | --- |
| 相关链接 | 相关文件 |
| 同类知识 | 同类文件 |
| 词条释义 | 来源网址 | 词语拼音 |

Assistant: (一)依法界定受委托事项;
(二)签订授权委托书;
(三)明确委托权限与范围;
(四)规范委托行为;
(五)做好衔接落实;
(六)提高服务水平。

Human: 下面的HTML语法正确的是() A:A: B:< C:< D:

Assistant: BC

代码重构了🤣,稍等我再看看

使用最新代码推理还是非常奇怪,切到 commit 9e64c58 回复正常。能不能将以前的stream v1 加回来啊