How to set "top_k, top_p, temperature" when evaluation.

[Ozawa333]

When I use evaluation_PersonaChat.py to evaluate the results, no matter how I change "top_k, top_p, temperature", the evaluation results will not change. Is this normal or there are other setting methods?
当我使用evaluation_PersonaChat.py来评估结果的时候，无论我如何的更改"top_k, top_p, temperature"，评估的结果不会有任何变化，请问这是正常的还是有其他的设置方法。

[Chenrj233]

目前可以尝试一下在evaluation_PersonaChat.py的第168-172行的generate函数中设置需要的参数，我们会尽快修复这个错误并更新。

[Ozawa333]

感谢您的回复，我尝试调整了168-172行中generate函数（如图）但是评估的结果似乎并无变化

[Chenrj233]

您好，我推测这种情况是没有使用采样的策略而导致得，可以加上do_sample=True进行尝试，详细的参数介绍可以参考GenerationMixin，GenerationConfig希望能够帮助到您。

[Ozawa333]

加上do_sample=True后的输出确实产生了变化，但是结果似乎更糟了。请问SOTA结果是在do_sample=False的时候不使用任何decoding strategies 时生成的对吧？

[Chenrj233]

您好，我们的结果是使用beam search的策略进行生成的，没有使用其他的采样策略。

[Ozawa333]

好的了解了，感谢您的回复