JaminFong/FNA

关于bn remap

Closed this issue · 2 comments

请问你们是怎么用γ来对width做排序的,bn里面是对批数据做归一化处理,不是layer,所以γ都是一样的,还是说你们做的是layer normalization?

您好,bn中γ的长度等于feature的通道数,故可通过每个通道对应的γ数值对通道进行排序,进而按照该排序结果进行width level 的 remapping,具体做法可参考原文中的Algorithm 1.

Please reopen it if needed.