dataelement/bisheng

当进行批量接口调用时，平台出现崩溃、卡死问题，长时间运行后，处理性能急剧下降

g9420 opened this issue · 4 comments

g9420 commented

使用接口调用某个技能时，当进行批量调用时，平台界面响应时间变长
c5afa9049a32c6057a2f0dee9abcc29
长时间运行后，处理性能下降，处理每一条的时间从几十秒变为几十分钟
image
再次调用平台技能接口，5分钟后超时返回

重启毕昇平台容器后，批量处理速度回复正常，但平台页面响应时间仍为10s以上

zgqgit commented

可以截图下技能都有哪些组件，或者把技能的json文件上传下。批量时如果技能有耗时的操作是会占用所有的处理线程，临时解决方案是提供workers的数量

g9420 commented

可以截图下技能都有哪些组件，或者把技能的json文件上传下。批量时如果技能有耗时的操作是会占用所有的处理线程，临时解决方案是提供workers的数量

技能方面就是一个简单的LLMChain，model，prompt，这个三个组件，用的时本地的qwen1.5-14b

g9420 commented

可以截图下技能都有哪些组件，或者把技能的json文件上传下。批量时如果技能有耗时的操作是会占用所有的处理线程，临时解决方案是提供workers的数量

修改workers的数量必须启动新的容器吗，现有容器我们修改了依赖的版本

zgqgit commented

不用修改容器，修改下容器的启动命令即可，backend容器启动有--workers参数可以配置启动多少个进程来处理请求