请问训练sp时候的单应变换矩阵为什么要求逆呢？
Closed this issue · 8 comments
homography = torch.inverse(homography)#inverse here to be consistent with tf version
您好，请问在SuperPoint-Pytorch/tree/master/dataset/utils/homographic_augmentation.py中生成射影变换矩阵的时候，为什么要进行一次求逆。这样的话，数据增强中使用的参数的含义好像不太直观，调节的话也不太容易。
这里是什么意思（第一行说要注释，下面又说必须应用求逆），要想与tf版本保持一致的话，是需要注释求逆的代码吗？
#TODO: comment the follwing line if you want same result as tf version
# since if we use homography directly ofr opencv function, for example warpPerspective
# the result we get is different from tf version. In order to get a same result, we have to
# apply inverse operation,like this
#homography = np.linalg.inv(homography)
homography = torch.inverse(homography)#inverse here to be consistent with tf version
此外，我发现在keypoint_op.py中的warp_points函数中提示 保持一致需要求逆，但这与前面图像变换所使用的H不一致，得到的gt也是不对应的吧。
##TODO: uncomment the following line to get same result as tf version
# homographies = torch.linalg.inv(homographies)
points = torch.cat((points, torch.ones((points.shape[0], 1),device=device)),dim=1)
##each row dot each column of points.transpose
warped_points = torch.tensordot(homographies, points.transpose(1,0),dims=([2], [0]))#batch dot
关于这些对应关系希望作者可以为我解惑，万分感谢。
您好，
凡是有
··· #TODO: comment the follwing line if you want same result as tf version
标识的代码，您可以忽略。我在复现rpautrat/SuperPoint代码时，为保证一致，几乎查看了他们所有关键代码的输出结果，并尝试通过torch严格复现，但毕竟两个框架不同，在实现上有区别，例如，矩阵求逆操作，torch和tf求逆的结果是不同的，印象里，他们的结果差一个逆，您可以自己测试一下。如果没记错，
···
homography = np.linalg.inv(homography)
homography = torch.inverse(homography)
'''
通过这两行代码，才能保证与tf求逆结果完全一致，原因我至今也没明白哈~。
因此，显然，如果我不追求与tf一样的结果，仅仅关注求逆本身这个运算，那么都通过torch对矩阵求逆就可以了，也满足矩阵逆的逆就是原矩阵这一基本事实。
当然，部分函数，如卷积操作，tf和torch是无法保证完全一致，这也是本项目与tf项目差异所在。
感谢您的回复，根据您的提示，我又去看了rpautrat/SuperPoint对应的代码，确认了关于单应变换数据增强部分的实现是一致的。
但是我不太理解为什么要这样做
- 直接使用通过cv2.getPerspectiveTransform得到的矩阵H更有明确的含义吧(代表着从center crop顺序经过射影、放缩、平移、旋转等操作得到目标图像)，也可以更加方便地通过调节数据增强的参数(使用的分布的参数)来调整想要的效果。
- 如果使用H矩阵的逆去生成warp_img，虽然也可以使得gt对应起来，但是这会使参数调整变得困难吧。
希望能够得到您的回复，感谢！
cv2.getPerspectiveTransform这个函数是有了特征匹配结果，去推测变换矩阵。而我们的目的不是求变换矩阵。
我们要解决得是通过自监督方式训练模型，实现特征点检测与特征生成。为了达到这个目标，使用了孪生网络。网络一支输入图像A，另一分支输入图像A变换后的图像A'，然后对两幅图像进行特征点位置预测和特征预测，希望预测的结果尽可能一致。
为达到上述目的，作者设计了自监督的方法。具体的，先利用模拟数据训练magicpoint网络，能够对特征点进行粗预测，用这个模型，检测真实图像的特征点，此时结果肯定不理想，但这不是magicpoint的目的。我们用magicpoint主要目的是生成标签数据，用标签数据训练superpoint。
具体的，通过magicpoint对图像Q0进行预测，得到特征点集P0，然后通过homographic_augmentation.py，随机获得n个变换矩阵H1，H2，... ,Hn；分别对Q0做变换，得到Q1，Q2, ..., Qn，并通过magicpoint分别对Q0~Qn做预测，得到点集P1~Pn；通过H1~Hn的逆，对P1~Pn进行变换，得到 P1’~Pn'；若我们对图像Q1~Qn施加H1~Hn逆变换，得到图像Q1‘~Qn’，那么P1’~Pn'相当于Q1‘~Qn’上的特征点（这里请仔细理解）; 最后把P1’~Pn'的点位置以0，1矩阵方式表示出来，把这些矩阵求和（或者其它方式），通过阈值过滤掉出现频率较低的特征点，剩余的才是为可以被用于训练的特征点。
为什么要搞这么复杂？因为magicpoint是通过模拟数据集训练得到的，在真实数据集上效果不好，把magicpoint直接预测的结果用于训练，获得到很多 不稳定 的特征点 ，而通过上述过程，可以确保用于训练的特征点的稳定性。
这就是求逆的原因了。不知道有没有解释清楚~
是的，我理解您所说的关于生成gt所使用的这种思路。
但是在训练superpoint模型的时候也需要随机生成一个H，从而得到一个可以拿来训练的图像对。而原论文中提到，要对H做一些限制，尽可能去模拟现实场景中可能会出现的图像对，这就对H的生成提出了限制。
- 因此，代码中生成H的时候，从src_img的中心裁剪区域的4个角点出发，经过事先设计好的分布随机生成一系列的变换参数，得到dst_img(我认为这就是最终应该使用的warp_img，其可以通过调节yaml文件中的超参数来控制想要的效果，可控性好)，这时候使用cv2.getPerspectiveTransform函数就可以计算得到满足我们要求的H
- 然后再应用得到的H去生成warp_img，以及对应的特征点位置坐标，这样得到的图像就可以满足我们对其的限制
- 然而，在代码实现中使用了H的逆，去对src_img进行变换得到warp_img，同时得到warp_img的gt。虽然这也是一种变换，但是这样的变换不容易通过yaml中的分布参数来控制想要的生成效果吧
因此，我认为不应该求逆，而是直接使用生成的H。不知道您怎么样看待这个问题？
您是指dataset/utils
/homographic_augmentation.py
homography = torch.inverse(homography)#inverse here to be consistent with tf version
这行代码吗？
是的，感觉加上这一行没什么必要。
是的，感觉加上这一行没什么必要。
您理解的没有问题，这个就是为了和tf版本保持结果一致加上的。如果没有这个要求，确实不需要的
感谢您的回答