Akegarasu/ChatGLM-webui

希望添加手动标记对话是否添加到上下文的功能

ystyle opened this issue · 1 comments

比如连续对话中,有些对话其实没必要添加到上下文里。

可以默认设置为都是添加到上下文,但可以在那一轮对话上取消标记,之后问答时,取消标记的对话就不添加到上下文了。

这样可以把对话历史和上下文分开,减少显卡的压力,应该能实现更多轮次的对话

可以暂时先用读取对话的功能。具体方法是对话完成后保存成json,vscode打开,手动删掉不需要的部分(也可以修改内容),保存,最后在WebUI中读取。