RowitZou/topic-dialog-summ

有关模型训练的问题

Closed this issue · 2 comments

ccclll777 commented

在8万轮预训练完成之后，acc达到了80左右。然后使用RL训练整个模型，1万轮之后，acc没有什么变化，一直在80左右波动，训练时的学习率变化也不是很明显，现在没有明确的调参思路。我使用的数据集客服和客户的对话应该比您使用的数据集要长，初步打算增加网络的深度进行尝试，看有没有什么改变。希望作者能提一些意见，谢谢您！

RowitZou commented

RL训练时acc确实没有明确变化，但是可以发现经过 RL 训练后，抽取器的 recall 值有明显提升。其他一些训练策略，可以参考 #6。

ccclll777 commented

RL训练时acc确实没有明确变化，但是可以发现经过 RL 训练后，抽取器的 recall 值有明显提升。其他一些训练策略，可以参考 #6。
谢谢您