fxmeng/Pruning-Filter-in-Filter

如何做到只根据FS的形状剪枝

Closed this issue · 4 comments

maxiaotian520 commented

您好，请问如果去除掉FS * weight, 只让程序学习FS 的shape, 要怎么实现呢？ 因为似乎只有把FS 放到forward里才可以进入optimizer. 谢谢

fxmeng commented

是的，训练阶段，前向传播的时候，FS需要和weight乘在一起，通过稀疏化FS来学习weight最终需要保留的形状。

maxiaotian520 commented

是的，训练阶段，前向传播的时候，FS需要和weight乘在一起，通过稀疏化FS来学习weight最终需要保留的形状。

谢谢回复， 如果想要像你论文中说的单纯更新FS，不让它参与和weight的联合更新，似乎无法通过把它从forward中删除来做到，请问该怎么在code里实现它呢？

fxmeng commented

令weight的require grad=False，就可以做到只更新FS，不更新weight。

maxiaotian520 commented

好的，非常感谢！