map问题
Opened this issue · 4 comments
mmrotate官方中R50+FPN的dotav1的map只有71.94,使用了ms增强之后的才只有75.21,论文中R50+FPN为75.97,请问这是经过ms增强后得到的map吗
@pphgood
mmrotate中的实现和本仓库的实现略有不同,建议使用本仓库中的代码来复现论文中的结果。
mmrotate中的71.94 是采用1x 和 没有采用ms(online)策略,与相同策略的pointset-based方法相比高出两个点。
由于CovexHull-based Giou loss收敛比较慢,故需采用约3x(40epoch)才能发挥出其性能,这也是pointset-based系列方法的缺点。
@pphgood mmrotate中的实现和本仓库的实现略有不同,建议使用本仓库中的代码来复现论文中的结果。 mmrotate中的71.94 是采用1x 和 没有采用ms(online)策略,与相同策略的pointset-based方法相比高出两个点。 由于CovexHull-based Giou loss收敛比较慢,故需采用约3x(40epoch)才能发挥出其性能,这也是pointset-based系列方法的缺点。
非常感谢您的回答,接下来我会尝试使用本仓库的代码进行复现,这里还有一个问题想要咨询您,我改了模型之后进行训练得到的模型在训练集和验证集的map提升了几个点,但是在测试集上map反而下降了很多,我认为可能是过拟合的原因,不知道您有什么建议
建议训练集和验证集一起作为训练集,进行训练模型,模型验证才更有效。此外,之前的评估中用的AP_50指标并不严格准确地反映模型的性能,建议综合AP, AP_50, AP_75 这些指标来看。
建议训练集和验证集一起作为训练集,进行训练模型,模型验证才更有效。此外,之前的评估中用的AP_50指标并不严格准确地反映模型的性能,建议综合AP, AP_50, AP_75 这些指标来看。
我之前复现的是mmrotate中的 是使用训练集和验证集进行训练,现在我正在复现本仓库的代码,配置环境遇到了一个小问题,timm库目前只支持torch>=1.7,您代码的环境是torch=1.4,建议您在requirements.txt里面添加版本,我目前用的是0.4.12不知道有没有问题