beyondguo/LLM-Tuning

怎么训练多轮对话呀

Opened this issue · 5 comments

liuhuapiaoyuan commented
怎么训练多轮对话呀
beyondguo commented

暂时还没支持这个

liuhuapiaoyuan commented

哦，太可惜了

yizhuoliang commented

请问训练多轮对话是不是就是，重新准备数据集，把原本的question ： answer变成history + question ： answer的格式？

dengxiang1995 commented

楼上训练多轮对话同想问

valkryhx commented

我看了下chat的代码 ，就是把历史history拼接在最新的prompt之前来作为输入进行预测的，那么训练时应该也是这么做的。模型根据注意力机制在历史对话中找相关信息来回答问题，本质和单轮对话没有区别。个人愚见。