map问题
Opened this issue · 4 comments
mmrotate官方中R50+FPN的dotav1的map只有71.94，使用了ms增强之后的才只有75.21，论文中R50+FPN为75.97，请问这是经过ms增强后得到的map吗
@pphgood
mmrotate中的实现和本仓库的实现略有不同，建议使用本仓库中的代码来复现论文中的结果。
mmrotate中的71.94 是采用1x 和 没有采用ms(online)策略，与相同策略的pointset-based方法相比高出两个点。
由于CovexHull-based Giou loss收敛比较慢，故需采用约3x(40epoch)才能发挥出其性能，这也是pointset-based系列方法的缺点。
@pphgood mmrotate中的实现和本仓库的实现略有不同，建议使用本仓库中的代码来复现论文中的结果。 mmrotate中的71.94 是采用1x 和 没有采用ms(online)策略，与相同策略的pointset-based方法相比高出两个点。 由于CovexHull-based Giou loss收敛比较慢，故需采用约3x(40epoch)才能发挥出其性能，这也是pointset-based系列方法的缺点。
非常感谢您的回答，接下来我会尝试使用本仓库的代码进行复现，这里还有一个问题想要咨询您，我改了模型之后进行训练得到的模型在训练集和验证集的map提升了几个点，但是在测试集上map反而下降了很多，我认为可能是过拟合的原因，不知道您有什么建议
建议训练集和验证集一起作为训练集，进行训练模型，模型验证才更有效。此外，之前的评估中用的AP_50指标并不严格准确地反映模型的性能，建议综合AP, AP_50, AP_75 这些指标来看。
建议训练集和验证集一起作为训练集，进行训练模型，模型验证才更有效。此外，之前的评估中用的AP_50指标并不严格准确地反映模型的性能，建议综合AP, AP_50, AP_75 这些指标来看。
我之前复现的是mmrotate中的 是使用训练集和验证集进行训练，现在我正在复现本仓库的代码，配置环境遇到了一个小问题，timm库目前只支持torch>=1.7,您代码的环境是torch=1.4，建议您在requirements.txt里面添加版本，我目前用的是0.4.12不知道有没有问题