对于注意力分支的选择

[Lewis0427]

对您的工作很感兴趣，请问一下看您论文里写的 非注意和通道-空间注意的组合具有最好的表现，您代码中用的是通道-空间注意吗？还有就是请问一下 单纯采用通道注意力和非注意力的组合，加上您的dropout模块，效果会变得不好吗？dropout模块只能在非注意和通道-空间注意或空间注意的组合才有正面效果吗？ 谢谢您的指教

[haoyuc]

首先非常感谢你的认可，

您代码中用的是通道-空间注意吗？

是的，代码中用的是通道-空间注意力。

单纯采用通道注意力和非注意力的组合，加上您的 dropout 模块，效果会变得不好吗？

是的，原因估计应该是通道注意力和 dropout 中的 attention 属于同一种机制，因此造成了冗余，所以效果并不会提升。

dropout 模块只能在非注意和通道-空间注意或空间注意的组合才有正面效果吗？

使用代码中的 dropout 模块是这样的，不合适和单纯的通道注意力一起使用，和其他注意力机制组合基本都可以有提升；不过如果对 dropout 模块做一些改变，说不定会有不同的结果。