关于‘chat’模式inference时的输出问题
Closed this issue · 1 comments
yinguoweiOvO commented
up您好，请问对于‘chat’模式，在推理时已经对query加了‘<|im_start|>’等token，在输出时为什么还会输出此部分token呢，按照训练策略来看的话，应该会只输出text部分。按照我的理解是这样的，您可以帮忙解答一下吗，十分感谢
yinguoweiOvO commented
不好意思，打扰了，没注意到没有对输出做处理，代码里应该是输出了BOS之后的所有内容