ScanNet_OVOR的指标与文中不一致
spatiall opened this issue · 7 comments
spatiall commented
ZheningHuang commented
Scannet 需要odise 做detector。 然后Replica 需要yoloworld, 这个请确认下
spatiall commented
是的,我是这样使用的
ZheningHuang commented
你好,我这边试了下repica的复现,确实有performance decrease的问题,应该是这几次update引入了一些bug,我这边晚些时候对比下之前的commit,找到问题后回复你
ZheningHuang commented
Hi, 对于replica 发现主要问题是set 相机位置的时候比预设的高1m,导致结果变低。可以把lift_cam 这个参数调节成2,结果就match上了。
或者可以之间恢复到之前的commit:
git checkout 4815b681178f54c0d9ace1e9b77435f9bc1c29fd
后来在做demo的时候对一些细小的参数有改动,但是这一版是测试过的,可以完全match上结果。
spatiall commented
作者你好,在把参数lift_cam调为2后,我得到了replica的正确结果。但是对于scannet-ovor,复现结果只有38.5,请问您有什么建议吗
ZheningHuang commented
你好,之前有过一些汇报说成功复现了我们的scannet上的全部的结果
#17 (comment)
如果另外两个任务没问题的话,理论上应该也不太会有问题。
我建议:
- 删掉所有output里面关于scannet的东西。 (有时候之前保存的结果后影响后面测试)
- 重新开始测试一下
也可以把visualization 的一两张图放上来,看下结果和我这边测试的是否一致。
如果还是有问题的话,我这边很乐意帮忙找一下原因!
ZheningHuang commented
close this for now, Do let me know if you have further questions.