YapengTian/TDAN-VSR-CVPR-2020

一些关于可变形卷积的输入问题

qiqiing opened this issue · 1 comments

您好,在阅读您的论文时,论文中提到仅使用偏移量和支持帧的特征作为可变形卷积的输入,但是在您的代码中,发现您将参考帧和支持帧concat后作为可变形卷积的输入,这是否和论文中提到的“We note that the feature of the reference frame is only used for computing the offset, and its information will not be propagated into the aligned feature of the supporting frame”有所冲突?

code和描述是对应的,在做deformable alignment的过程中这个concat后的feature只用于生成offset也就是在support frame上sampling的位置信息,reference frame本身的feature是完全没有用去重建aligned frame的。注意deformable alignment包含两部分,第一部分是offset generation,第二部分是deformable convolution。而concat的feature只用在第一步,第二步sample的是reference的feature。