关于实验结果的问题
Bingo-1996 opened this issue · 2 comments
Bingo-1996 commented
您好！我注意到表1中有些论文的结果好像和原始论文给出的结果不太一样。
比如NOCS的结果和6-PACK论文中报告的结果是一样的，但是和NOCS论文中给出的结果不同；还有6-PACK的结果和原始论文不一样，CASS的结果也和原始论文不一样。
请问您在表1给出的实验结果是重新计算的结果吗，和原始NOCS的计算方式有什么不同之处呢？或者采用了6-PACK提供的调整后的gt pose吗？
期待您的回复
HalfSummer11 commented
您好，NOCS和CASS作为单帧的算法，都是基于detection的，会出现一个物体被多次检测的情况，因此对各项指标计算的是detection中常见的Average Precision(AP)，这也是它们在原论文中report的数字。6-PACK与本工作作为tracking没有这个问题，可以直接对每个物体作出唯一预测，计算各个metric. 为了和单帧做法比较，我们取了CASS公开的预测结果中，对同一物体产生的多个预测的平均误差，这也是6-PACK中report的NOCS与NOCS原论文区别的来源。
对于6-PACK，为了将其pose initialization（只有translation perturbation）与我们的setting对标，我们在他们github代码的基础上改了initialization自己重新测试了。Tracking有一定随机性，我们复现的结果也是comparable的。
Bingo-1996 commented
明白了，谢谢您的回答:)