复现结果差异
wucui5 opened this issue · 3 comments
wucui5 commented
你好，我在复现您实验时得到的分数和您论文上的分数有0.6-1分的差距，我的参数设置和您发布的完全一样。请问我需要注意里面的什么参数吗，或者说您能帮我看看这差距的问题出在哪里吗，非常感谢
BurgerBurgerBurger commented
您好，环境配置，依赖库版本，随机种子等因素可能会影响实验结果。
另外，我们已经上传了训练好的模型权重，可以利用这些文件验证您的实验结果是否与我们的一致
wucui5 commented
您好，环境配置，依赖库版本，随机种子等因素可能会影响实验结果。 另外，我们已经上传了训练好的模型权重，可以利用这些文件验证您的实验结果是否与我们的一致
您好，我刚刚看了您上传的权重，发现只有在re-docred数据集和roberta上有改变，那么在docred数据集的bert模型上需要有什么改变吗，在bert上我的分数还是差不多62.5的样子
taolusi commented
你好，我在复现您实验时得到的分数和您论文上的分数有0.6-1分的差距，我的参数设置和您发布的完全一样。请问我需要注意里面的什么参数吗，或者说您能帮我看看这差距的问题出在哪里吗，非常感谢
我也进行了复现，发现在DocRED上基于RoBERTa上有1.5个点左右的差距。