open-compass/T-Eval

QWen测试message格式问题

gewenbin0992 opened this issue · 1 comments

gewenbin0992 commented

你好，感谢工作！

发现比如reason_str_v1.json数据中经常出现：

  1. 连续的user：[system, user, user]
  2. system穿插在对话中间：[system, user, assistant, system, user]

这种情况，这在QWen中应该是不支持的，请问测试中是如何拼接prompt的？

期待回复。

tonysy commented

You can change the system into user. And merge two user's items into one.