hukaixuan19970627/OrientedRepPoints_DOTA

关于实验

Closed this issue · 3 comments

老师您好!拜读了您的论文之后,关于实验方面我有一个小小的问题:在DOTA数据集上作对比实验时,其他方法您也是在自己硬件上跑了一遍直到收敛,然后记录每个方法的mAP?还是说直接在DOTA官网查到其他方法的mAP,然后放在论文里进行比较?多有打扰!

我认为应该是前者,同FPS一样,各种方法只有在同一硬件上才有可比性。

精度指标和FPS不同,算法的运行速度会受到硬件配置、软件版本环境以及所使用的框架等多方面因素的影响,因此对比速度时,必须在同样的条件下进行测试才能得到公平的对比结果。
但对于精度指标来说,1+1在任意硬件配置、不包含bug的软件环境下都是会等于2的,所以一些实验结果无需自己重新训练,取对应算法论文中的实验结果就行,只要算法开源了代码以及相应的训练配置文件,如果随机种子也提供了的话是一定能复现论文精度的。

谢谢老师的悉心指导!