Gumpest/YOLOv5-Multibackbone-Compression

有关于SwinTransformerLayer

Vegetabhl opened this issue · 2 comments

Vegetabhl commented

大佬，我想麻烦请问下我看论文中swin transformer block都是成对出现的，你代码中SwinTransformerLayer的具体结构是不是只是下面的一半，比如1个C3STR模块内部堆叠了4个SwinTransformerLayer，那这3个并不一定完全是按照W-MSA，SW-MSA，W-MSA，SW-MSA，这样排的吗？ 也可能是W-MSA，W-MSA，SW-MSA，W-MSA这样排的对吗？

我也刚接触swin transformer ,可能说的不太清楚，主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚，谢谢您了。

1

LUO77123 commented

大佬，我想麻烦请问下我看论文中swin transformer block都是成对出现的，你代码中SwinTransformerLayer的具体结构是不是只是下面的一半，比如1个C3STR模块内部堆叠了4个SwinTransformerLayer，那这3个并不一定完全是按照W-MSA，SW-MSA，W-MSA，SW-MSA，这样排的吗？ 也可能是W-MSA，W-MSA，SW-MSA，W-MSA这样排的对吗？

我也刚接触swin transformer ,可能说的不太清楚，主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚，谢谢您了。

1

兄弟，你跑了代码吗，想知道采用swin transformer占显存有多大，1120的输入我的占7-8G

TangFeo commented

的具体结构是不是只是下面的一半
你您，请问你搞清楚了吗