一些关于可变形卷积的输入问题

[qiqiing]

您好，在阅读您的论文时，论文中提到仅使用偏移量和支持帧的特征作为可变形卷积的输入，但是在您的代码中，发现您将参考帧和支持帧concat后作为可变形卷积的输入，这是否和论文中提到的“We note that the feature of the reference frame is only used for computing the offset, and its information will not be propagated into the aligned feature of the supporting frame”有所冲突？

[YapengTian]

code和描述是对应的，在做deformable alignment的过程中这个concat后的feature只用于生成offset也就是在support frame上sampling的位置信息，reference frame本身的feature是完全没有用去重建aligned frame的。注意deformable alignment包含两部分，第一部分是offset generation，第二部分是deformable convolution。而concat的feature只用在第一步，第二步sample的是reference的feature。