[🐛BUG] RNN训练效果很差。
Closed this issue · 9 comments
描述这个 bug
我使用RNN对samsum数据集进行训练时发现训练完成后效果特别差，请问可以如何提高效果。
如何复现
python run_textbox.py --dataset=samsum --model=rnn
日志
Sun 23 Apr 2023 00:24:19 INFO Evaluation result:
score: 7.02,
<rouge-1: 3.51>,
<rouge-2: 0.00>,
<rouge-l: 3.51>,
rouge-w-1.2: 2.31
generation结果
建议调整learning_rate，例如5e-3，或者更换模型，例如LSTM
使用5e-3的学习率，score为 20.98, 使用LSTM，score为23.20，如果想获得更好结果，建议使用预训练语言模型
使用5e-3的学习率，score为 20.98, 使用LSTM，score为23.20，如果想获得更好结果，建议使用预训练语言模型
你好，请问这个score和Rouge-1，Rouge-2，Rouge-l的关系是什么，score是怎么通过这些指标计算出来的呢
score是这三个指标之和
如果有问题欢迎继续提问
我使用5e-3学习率训练以后，查看生成的结果以后发现几乎每一行都是同样的文字，和目标target差距较大，请问这个情况是正常的吗
我使用5e-3学习率训练以后，查看生成的结果以后发现几乎每一行都是同样的文字，和目标target差距较大，请问这个情况是正常的吗
RNN模型的效果相对较差，可能跑出来的结果和目标差别比较大。如果想要更好地效果，建议使用预训练模型，例如BART。
以下是使用RNN用5e-3学习率跑了5个epoch的结果的前10行，效果也比较差。
Maxest will her. They. Louis. Louis to her.
Maxest and her the the way. They. Louis.
Maxest and her the the way. Louis. They.
Am and see the the the a the the phone. They. Louis to see. Louis. Louis and see. They and the see. A. Louis the the way. They to see it. Louis will see.
Maxin and her. They. Louis. They to the the the way. They it.
Am and see a the the the a the phone. They. Louis. Louis and see. They to see. Louis to see the the way. Louis will see.
Am and see a the the the phone. They. Louis. Louis and see. They to see. Louis to see the way.
Maxest and her the the way. Louis. They.
Maxest wants to the the the way. Louis. They.
Maxest wants. They. Louis. They to her. They of her.
我使用RNN跑了50个epoch经过了4轮训练效果也很不理想，有什么方法能够提高RNN模型的效果吗
感觉这没有办法，建议使用预训练模型。如果非要使用RNN，可以使用LSTM，还有pointer model.