指标计算问题

[szxmachinelearning]

你好，我在计算指标时，使用pycocotools只能计算ap small ap middle，我想请教一下如何计算ap tiny 和ap vt

[Chasel-Tsui]

你好，可以安装一下这个计算APtiny的库https://github.com/jwwangchn/cocoapi-aitod。此外，如果使用的是mmdetection框架，还需要对mmdet/datasets/中的文件进行修改，请参考https://github.com/jwwangchn/NWD/blob/main/mmdet/datasets/aitod.py

[szxmachinelearning]

好的，谢谢，我没有使用mmdetection，应该怎么使用这个工具呢？

[Chasel-Tsui]

好的，谢谢，我没有使用mmdetection，应该怎么使用这个工具呢？

如果不是mmdetection，需要根据自己的检测框架修改evaluate的代码，主要是把pycocotools中import的COCOeval改成从aitodpycocotools中import；如果想要使用mmdetection，可以参考官方repo，或者适配了AI-TOD的repo

[szxmachinelearning]

感谢您的耐心解答，目前我已测出大部分指标，不知如何测得各个类别的oLRP呢？

[Chasel-Tsui]

感谢您的耐心解答，目前我已测出大部分指标，不知如何测得各个类别的oLRP呢？

你好，cocoapi-aitod的相关文件中有计算oLRP的代码可以参考一下，不过相比于AP指标，oLRP使用较少并且计算比较耗时，在论文中只报告AP也是可以的。

[szxmachinelearning]

嗯嗯，我直接使用cocoapi-aitod评估结果，只有整体的oLRP，但我看论文中有各个类别的oLRP，请问这些指标可以用该工具计算吗？

[Chasel-Tsui]

嗯嗯，我直接使用cocoapi-aitod评估结果，只有整体的oLRP，但我看论文中有各个类别的oLRP，请问这些指标可以用该工具计算吗？

这个代码包含了各个类别oLRP的信息，但是如果想要print出来，需要修改一下代码，oLRP的结果如果我没记错的话应该有三个维度组成[K,A,M]，其中K这个维度指代类别维度，可以用类别进行索引得到classwise的oLRP结果

[szxmachinelearning]

好的，再次感谢！

[winterscoming]

你好，我在yolo上验证aitod数据集时，发现aitod的标签命名是int型和str型共同存在的，导致验证时生成的json文件的image_id存在int和str型，在cocoeval上的sorted函数里无法对其排序，导致报错，请问这个问题该如何解决呢