大家好,我是 healingwounds 队长,很意外能获得第二周的周周星,以下是我比赛以来的一些收获,望各位大佬不吝赐教!
-
关于模型 我目前用的还是一些基础模型,以下是我尝试过的模型
- lgb 过拟合严重,线上线下差距大,放弃了
- RNN 用双向两层 GRU 效果较好,比 LSTM 效果好些
- RNN-Atten 同样是 GRU 效果好一些,尝试不同的姿势的 Attenion,非标准形式比标准形式效果好
- textCNN 过拟合严重,线上线下差距大,也放弃了
- RCNN 效果不错
-
关于训练
- 训练参数对模型效果影响较大
- 优化器 我使用 adam
- batch_size 建议80-100
- k_fold 大一点效果提升明显,但是过程较慢
- random_seed,随缘了,建议多次结果平均,结果更稳定
- 训练参数对模型效果影响较大
-
模型融合
- 模型融合自身的融合
- 不同模型的融合,这块也比较玄学,权重分配值得摸索
其它的先进模型本菜鸡还没研究过,还需要继续跟进。。。