使用bert模型，F1均不高
kg-nlp opened this issue · 4 comments
kg-nlp commented
你好，作者，我使用bert-base跑了这几个模型，F1都不超过70,请问你最终用的预训练模型跑到的最高分有多少啊
zhoujx4 commented
你好，作者，我使用bert-base跑了这几个模型，F1都不超过70,请问你最终用的预训练模型跑到的最高分有多少啊
你好，分数就是我github上的贴图，因为我是实验性质，用的是三层roberta，没有刻意追求指标，所以我也不知道用更大的预训练模型的效果。不过用12层的bert-base分数不高也是正常的，可以考虑换成12层的roberta或macbert。
kg-nlp commented
资源有限，跑了好久，来这儿说明一下，用roberta跑完多头机制和仿射多头的分数都超过了0.73了
zhoujx4 commented
资源有限，跑了好久，来这儿说明一下，用roberta跑完多头机制和仿射多头的分数都超过了0.73了
感谢你的回复，多头效果还是很不错的，就是训练效率太低
Sherryran08 commented
你好，作者，我把数据集改小了，对原来的训练集取了前7000个，测试集取了1500个，发现我用了bert-wwm-ext跑，多头选择效果还没有baseline的好，换了robert也是这样，是因为我的数据量的问题吗？其他参数我都没改，要改一下其他的参数吗