关于注意力分支的问题
Opened this issue · 2 comments
关于注意力机制的问题,文中描述是这样的:
channel attention generates a 1D (R^{C×1×1}) channel-wise attention vector,
spatial attention generates a 2D (R^{1×H×W}) attention mask,
channel-spatial attention generates 3D (R^{C×H×W}) attention map
spatial attention 指的是只在 H 和 W 维度,不包含 channel 维度,而代码中是包含 channel,每一个像素都有单独的权重,因此是 channel-spatial attention
关于注意力机制的问题,文中描述是这样的:
channel attention generates a 1D (R^{C×1×1}) channel-wise attention vector,
spatial attention generates a 2D (R^{1×H×W}) attention mask,
channel-spatial attention generates 3D (R^{C×H×W}) attention mapspatial attention 指的是只在 H 和 W 维度,不包含 channel 维度,而代码中是包含 channel,每一个像素都有单独的权重,因此是 channel-spatial attention
好的,明白了 谢谢您的解答。我还想向您请教一下,在完成注意力之后,为什么又进行了一次卷积操作,只是为了增加网络深度吗?我没太明白这个卷积操作的意义。因为我觉得它的添加,没有遵循控制变量的原则。注意力和非注意力分支的选择,就有点不公平。