thograce/BGNet

有人能复现出这个结果吗

Closed this issue · 2 comments

有人能复现出这个结果吗

这么久了没人反馈这个问题,不过我可以分享一下我做实验的情况。
​1、首先,我认为的可复现是评价指标的差异在1个点以内。
2、建议先看一下这个链接:https://zhuanlan.zhihu.com/p/629526120,
​然后对比一下我的代码会发现,我没有控制所有的随机性,所以你几乎不可能和我训练出一模一样的结果。
​3、在我本人的实验环境下,我每次的实验结果也会有差异。COD10K和NC4K两个数据集的测试结果差异稳定在1个点以内。CAMO数据集测试结果波动范围略大,和其他模型的作者沟通过,他们也有这个问题。个人推测和训练集的数据量及分辨率有关。我最终报告的结果是在三个测试集上平衡的最优解,训练好的模型也提供了下载链接,你可以直接测试运行。
祝实验顺利。

十分感谢您的解答,问题已经解决,一方面是CAMO的波动范围略大,另一方面是GPU型号的问题,现在COD10K和NC4K两个数据集的测试结果差异已经稳定在0.3个点以内