A Probabilistic Approach to Neural Network Pruning |
ICML |
F |
- |
|
|
|
|
Accelerate CNNs from Three Dimensions: A Comprehensive Pruning Framework |
ICML |
F |
- |
|
|
|
|
Group Fisher Pruning for Practical Network Compression |
ICML |
F |
PyTorch(Author) |
feature map의 importance를 계산하는 방법을 제안함 |
|
|
|
🔥 On the Predictability of Pruning Across Scales
|
ICML |
W |
- |
어느정도 pruning 하면 성능이 얼마나 나올지 계산하는 방법 제안함. |
|
|
|
Towards Compact CNNs via Collaborative Compression |
CVPR |
F |
PyTorch(Author) |
- channel pruning + Tensor decomposition을 제안함. 이건 나랑 상관 없음
- Whole network compression rate $C$ 가 주어졌을 때, 레이어별compression rate $R^i$를 automatically 선택하는 global compression rate optimization method을 제안함.
|
|
|
|
Content-Aware GAN Compression |
CVPR |
F |
PyTorch(Author) |
GAN에 특화된 방법. 나랑 관련 없음. |
|
|
|
Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks |
CVPR |
F |
PyTorch(Author) |
Computational efficiency가 목적. Vector Quantization에 관한 연구. 나와 방향성이 다름 |
|
|
|
NPAS: A Compiler-aware Framework of Unified Network Pruning andArchitecture Search for Beyond Real-Time Mobile Acceleration |
CVPR |
F |
- |
Mobile platform에 특화하기 위해서 Compiler erfficient pruning을 제안함. 동시에 NAS를 적용. 나와 방향성이 다름. |
|
|
|
Network Pruning via Performance Maximization |
CVPR |
F |
- |
- loss를 minimize하는 것이 best accuracy를 보장하지 않기 때문에, accuracy 예상값을 maximize 하는 loss function을 제안함.
- Sub-network(=pruned network)의 accuracy 예상값을 얻기 위해서 performance prediction network (PN)를 고안함. PN은 상기 loss function에 사용됨.
- PN을 안정적으로 학습시키기 위해서 episodic memory를 제안함
|
|
|
|
Convolutional Neural Network Pruning with Structural Redundancy Reduction |
CVPR |
F |
- |
- Least important filter를 pruning 하는 것 보다, structural redundanc를 기준으로 pruning 하는 것이 더 성능이 좋다고 주장.
- sturctural redundancy : layer의 redundancy를 구하고 redundancy가 큰 layer의 unimportant filter를 제거함.
|
|
|
|
Manifold Regularized Dynamic Network Pruning |
CVPR |
F |
- |
- input마다 다르게 pruning하는 방법
- ipnut 간의 relation을 고려하기 위해서 input의 manifold information을 pruned netowkr space에 embedding하는 방법을 제안.
- 경험상 dynamic approach 또는 attentrion은 EEG에 효과가 없음
|
|
|
|
Joint-DetNAS: Upgrade Your Detector with NAS, Pruning and Dynamic Distillation |
CVPR |
FO |
- |
Detection task에서 NAS를 효율적으로 사용하기 위해서 Pruning과 Distilation을 활용하는 방법을 제안. 내 방향성과 맞지않음 |
|
|
|
A Gradient Flow Framework For Analyzing Network Pruning |
ICLR |
F |
PyTorch(Author) |
- 잘 모르겠지만 standard method를 알려줘서 봐봄직함.
- method를 propose하는 건 아닌 것 같고 해석 view를 제시하는 듯하다.
- importance-measure based prunning 방법을 training 중에 적용해서 training과 pruning을 동시에 하는 방법들이 최근 많이 제안되었는데, 그에 대한 이론적 근거를 분석한 것 같다.
- importance-measure based pruning에 대한 소개를 읽고 적용해보면 좋겠다. (이 분야의 sota일 것임)
|
|
|
|
🔥 Neural Pruning via Growing Regularization
|
ICLR |
F |
PyTorch(Author) |
Method는 잘 모르겠지만 코드가 공개되어있고 구현이 쉽다고 한다. |
|
|
|
ChipNet: Budget-Aware Pruning with Heaviside Continuous Approximations |
ICLR |
F |
PyTorch(Author) |
|
|
|
|
Network Pruning That Matters: A Case Study on Retraining Variants |
ICLR |
F |
PyTorch(Author) |
Pruned network를 retraining할 때 learning rate를 잘 설정하는 것이 중요함을 발견. 크게 설정하는 것이 좋으며, pruned model을 learning rate 설정 잘 함으로써 pruning을 하는 method보다 성능이 좋다고 함. 흥미로워보이지만 나랑 방향이 다름 |
|
|
|
Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network |
ICLR |
W |
PyTorch(Author) |
충분히 over-parametrized NN with random initialization을 잘 pruning하면 학습없이도 학습한 모델 만큼의 성능을 낼 수 있다는 가설. 나와 방향성이 다름 |
|
|
|
🔥 Layer-adaptive Sparsity for the Magnitude-based Pruning
|
ICLR |
W |
PyTorch(Author) |
ㅣlayer별로 얼마나 prune할지 선택하는 방법 제안. 나와 방향이 비슷. |
|
|
|
Pruning Neural Networks at Initialization: Why Are We Missing the Mark? |
ICLR |
W |
- |
Layer에서 pruning 비율을 찾는 것보다, weight 자체를 prune할 지 결정하는 방법을 제시함. |
|
|
|
~~Robust Pruning at Initialization ~~ |
ICLR |
W |
- |
Prune at initialization 은 나와 방향이 안맞음. |
|
|
|