Pointcept/OpenIns3D

ScanNet_OVOR的指标与文中不一致

spatiall opened this issue · 7 comments

你好作者,当我在复现代码时,发现ScanNet_OVOR的测试结果Top-1 Accuracy 只有38,而readme中提到的Top-1 Accuracy 是64.2,但是当我测试ScanNet_OVOD和ScanNet_OVIS这两个任务时,发现结果与readme中提到的是一致的,在此期间我并没有进行任何修改,想问一下您对此有什么建议吗?
同时,我还想问一下,对于replica的测试,复现结果AP只有9.5,这是正常的吗?下面是我对于ScanNet_OVOR和replica的测试结果。感谢您的帮助!

scannet-ovor
replica

Scannet 需要odise 做detector。 然后Replica 需要yoloworld, 这个请确认下

是的,我是这样使用的

你好,我这边试了下repica的复现,确实有performance decrease的问题,应该是这几次update引入了一些bug,我这边晚些时候对比下之前的commit,找到问题后回复你

Hi, 对于replica 发现主要问题是set 相机位置的时候比预设的高1m,导致结果变低。可以把lift_cam 这个参数调节成2,结果就match上了。

或者可以之间恢复到之前的commit:

git checkout 4815b681178f54c0d9ace1e9b77435f9bc1c29fd

后来在做demo的时候对一些细小的参数有改动,但是这一版是测试过的,可以完全match上结果。

作者你好,在把参数lift_cam调为2后,我得到了replica的正确结果。但是对于scannet-ovor,复现结果只有38.5,请问您有什么建议吗

你好,之前有过一些汇报说成功复现了我们的scannet上的全部的结果
#17 (comment)

如果另外两个任务没问题的话,理论上应该也不太会有问题。

我建议:

  1. 删掉所有output里面关于scannet的东西。 (有时候之前保存的结果后影响后面测试)
  2. 重新开始测试一下

也可以把visualization 的一两张图放上来,看下结果和我这边测试的是否一致。

如果还是有问题的话,我这边很乐意帮忙找一下原因!

close this for now, Do let me know if you have further questions.