About “Sample Selection for Point Set Representation” and “The differentiability of convex IoU”
Closed this issue · 3 comments
请问作者有相关博客仔细介绍一下这一部分吗?我有点没搞懂具体流程,大致流程论文里讲的比较清楚:
point assigner先分配初始正样本点 -> 先进行一次梯度不更新的前向传播计算这些正样本的分类loss + 定位loss + 方向loss -> 再根据这些loss值从小到大排序取topk,其余的质量太低重新标为负样本 -> 重采样后的正样本点正常进行训练
但是配置文件中point assigner每个gt分配一个初始正样本点,后续的topk再怎么取也是1吧,岂不是重采样没有作用?
然后我debug的时候,训练初期gt可能为10,num_total_pos_init可能为9(这个我明白,物体挨得比较紧的话,后面的gt会把前面的gt匹配到的正样本覆盖掉),重采样后的num_pos可能为9.
训练后期,gt可能为10,num_total_pos_init为9,num_pos可能为50,这个重采样后的正样本数量是怎么升上去的?
希望作者能帮忙解惑
你好!
对于此部分的理解上,你可能存在一些偏差。
首先该模型是一个cascaded模型,分为两个initial 和 refine阶段,initial阶段进行初步旋转框(点集)的回归,第二阶段在第一阶段的(点集位置)的基础上是进一步的refine,同样这两个阶段都需要进行正负样本分配,从而分别进行loss的计算。对于initial阶段的正负样本分配,采用的方法和原始的reppoints是一致的,也就是config文件中的point assigner(具体可以详解reppoints论文中的page 6 Localization/class target assignment.)。
对于refine阶段,我们这里采用的先通过maxiou assigner将initial stage的初步预测框先与GT box进行assign,后续就是你所说的_先进行一次梯度不更新的前向传播计算这些正样本的分类loss + 定位loss + 方向loss -> 再根据这些loss值从小到大排序取topk,其余的质量太低重新标为负样本 -> 重采样后的正样本点正常进行训练。_
在通过这三项的loss值,可以选择initial 阶段预测的高质量旋转框(点集),其re-assign后的个数就是这里的num_pos,但这个数应该不会为50这么大,因为在fpn每个level根据loss值先进行一个初步的选择(fpn 每层最大样本数为6),然后对fpn 所有level的样本汇总(具体参考代码)再进行根据top ratio的值进行选择。initial 和refine 两个阶段正负样本分配没有直接联系,即这里的num_total_pos_init 和refine阶段的re-assign后的正样本个数num_pos是没有直接联系的。
在re-assign的过程中,该工作总体**是和PAA有些类似,都是从loss角度进行re-assign,但该工作重点想说明的一点是对于旋转目标检测,结合分类loss、定位loss以及方向loss三个方面的考虑,一个简单的topk就能实现高质量旋转样本的选择,而不需要PAA中GMM相对复杂的高斯参数收敛过程(模型训练中)。
以上,希望对你有帮助!
你好!
对于此部分的理解上,你可能存在一些偏差。
首先该模型是一个cascaded模型,分为两个initial 和 refine阶段,initial阶段进行初步旋转框(点集)的回归,第二阶段在第一阶段的(点集位置)的基础上是进一步的refine,同样这两个阶段都需要进行正负样本分配,从而分别进行loss的计算。对于initial阶段的正负样本分配,采用的方法和原始的reppoints是一致的,也就是config文件中的point assigner(具体可以详解reppoints论文中的page 6 Localization/class target assignment.)。对于refine阶段,我们这里采用的先通过maxiou assigner将initial stage的初步预测框先与GT box进行assign,后续就是你所说的_先进行一次梯度不更新的前向传播计算这些正样本的分类loss + 定位loss + 方向loss -> 再根据这些loss值从小到大排序取topk,其余的质量太低重新标为负样本 -> 重采样后的正样本点正常进行训练。_
在通过这三项的loss值,可以选择initial 阶段预测的高质量旋转框(点集),其re-assign后的个数就是这里的num_pos,但这个数应该不会为50这么大,因为在fpn每个level根据loss值先进行一个初步的选择(fpn 每层最大样本数为6),然后对fpn 所有level的样本汇总(具体参考代码)再进行根据top ratio的值进行选择。initial 和refine 两个阶段正负样本分配没有直接联系,即这里的num_total_pos_init 和refine阶段的re-assign后的正样本个数num_pos是没有直接联系的。在re-assign的过程中,该工作总体**是和PAA有些类似,都是从loss角度进行re-assign,但该工作重点想说明的一点是对于旋转目标检测,结合分类loss、定位loss以及方向loss三个方面的考虑,一个简单的topk就能实现高质量旋转样本的选择,而不需要PAA中GMM相对复杂的高斯参数收敛过程(模型训练中)。
以上,希望对你有帮助!
明白了,你一说cascade就很清晰了,十分感谢。
我还有一个不清楚的地方就是代码中使用的凸多边形IoU loss是如何进行梯度的回传的呢?流程我清楚:就是points点集通过Jarvis march法转为一个凸多边形,再与GT Box进行凸多边形IoU计算,IoU Loss采用GIoU的公式进行计算,然后所得IoU作为loss来指导网络的学习。这个过程由于都是用CUDA代码完成的,所以了解起来挺费劲的,请问有相关的资料可以参考吗,主要是传递梯度这一块,我感觉整个流程似乎不可导,但用了某种工程上的方法把梯度传了回去,毕竟Beyond Bounding Box这篇文章对这个IoU的可导性直接一笔带过了,没有相关公式直接推导这个IoU是可微的
@hukaixuan19970627
搞清该问题,首先需要搞清楚rotated iou loss的梯度回传,在理论上确实存在有不可导的地方, 具体可以参考论文[1]和代码链接[2],有详细介绍。
这里的convex giou loss的梯度回传和rotated iou loss的求导过程本质是一致的,是对两个polygons在工程上求insection和union,
这里本身是多了一步Jarvis march算法,该算法是确定哪些点是进行梯度回传的,哪些点是不进行的。
另外,beyond bounding box[3]提供的convex giou loss代码仍然是存在一定的限制和改进空间,比如点的个数是固定的(9个点)以及算法收敛速度较慢。
[1] IoU Loss for 2D/3D Object Detection.
[2] https://github.com/csuhan/s2anet/tree/master/configs/rotated_iou
[3] Beyond Bounding-Box: Convex-hull Feature Adaptation for Oriented and Densely Packed Object Detection.