为什么参数量并没有下降反而上升了好几倍??
Opened this issue · 0 comments
HeiHeiCCC commented
我自己测试了一下用nn.Conv2d(16, 64, 1),输入大小是(1, 16, 224, 224),这个参数量只有1088,但是如果用ACmix得到的参数量是8604,这差了快8倍了,但是文章说 “同时与纯卷积或self-attention相比具有最小的计算开销”,好像没有体现,这是咋回事啊?
Opened this issue · 0 comments
我自己测试了一下用nn.Conv2d(16, 64, 1),输入大小是(1, 16, 224, 224),这个参数量只有1088,但是如果用ACmix得到的参数量是8604,这差了快8倍了,但是文章说 “同时与纯卷积或self-attention相比具有最小的计算开销”,好像没有体现,这是咋回事啊?