Zj-BinXia/SSL

训练终止条件

Opened this issue · 3 comments

sunyclj commented

SSL-master/basicsr/pruner/SSL_pruner.py中def optimize_parameters(self, current_iter)设置训练终止条件
if self.prune_state in ["stabilize_reg"] and self.total_iter - self.iter_stabilize_reg == self.args.stabilize_reg_interval，其中self.total_iter - self.iter_stabilize_reg == self.args.stabilize_reg_interval是用来约束什么的呢？

sunyclj commented

Please see Aligned structured sparsity learning for efficient image super-resolution

每层更新的时候，似乎没考虑如果有一层所有的参数都大于阈值不需要剪枝的情况；

Zj-BinXia commented

这一步是剪完枝fintune阶段，因为考虑到finetune梯度回传问题，还是得保留一些冗余的参数在里面，但这些参数我都scale设置为0，不参与值的计算。finetune完之后把一些冗余的值给彻底删掉