为什么参数量并没有下降反而上升了好几倍？？
Opened this issue · 0 comments
HeiHeiCCC commented
我自己测试了一下用nn.Conv2d(16, 64, 1)，输入大小是(1, 16, 224, 224)，这个参数量只有1088，但是如果用ACmix得到的参数量是8604，这差了快8倍了，但是文章说 “同时与纯卷积或self-attention相比具有最小的计算开销”，好像没有体现，这是咋回事啊？
Opened this issue · 0 comments
我自己测试了一下用nn.Conv2d(16, 64, 1)，输入大小是(1, 16, 224, 224)，这个参数量只有1088，但是如果用ACmix得到的参数量是8604，这差了快8倍了，但是文章说 “同时与纯卷积或self-attention相比具有最小的计算开销”，好像没有体现，这是咋回事啊？