phdymz/PointCLM

有关测试集、验证集和训练集的疑问

Closed this issue · 3 comments

您好,感谢您在多实例点云配准上做出的贡献。
在本地跑通试验后,我们发现您的验证部分和测试部分的数据来源貌似一致,并且模型也没有在验证集上选出最好模型 ,请问您可以解释一下吗

您好,感谢您的关注。一般来说,在分类还是配准任务上,ModelNet40都是没有验证集的,所以验证和测试集是一致的。其次,我们在每个epoch都存了模型权重,最后根据tensorboard的记录手动挑选模型。

谢谢您的及时回复,
我还有两个问题能请教您一下吗
1-请问这种手动挑选的依据是什么呢,根据LOSS最低还是选择正负对的平均距离呢,
2-我的同一epoch的模型执行测试时候指标并不是一致的,会存在一定的浮动,您在论文中用到了平均值,方便告知一下这个平均值是同一模型进行多少次测试后得到平均评价指标吗

1.我记得是按照距离挑选的,挑选方式可能影响不是很大;
2.对于测试指标,我并没有用到多次取平均,有时候确实会有浮动,包括RANSAC等造成的浮动,但是影响并不会很大;