model-optimization-level3-cv-09

모델 경량화 프로젝트 CV-09 하나둘셋Net()

Member

공은찬	곽민구	김준섭	김진용	심용철	최현진

Notion	TIL	Git	Blog	Notion	Devlog

Requirements

Linux version 4.4.0-59-generic
Python >= 3.8.5
PyTorch >= 1.7.1
conda >= 4.9.2
tensorboard >= 2.4.1

Hardware

CPU: Intel(R) Xeon(R) Gold 5220 CPU @ 2.20GHz
GPU: Tesla V100-SXM2-32GB

목표성능

f1: 0.7000
time: 60.000
score: 1.1950

프로젝트 계획

경량화에 필요한 module 구현 (ex. FireModule - SqueezeNet)
optuna를 통한 파라미터, 구조 서치
wandb로 실험관리
높은 성능 모델 구조 탐색 후 구조 튜닝
Augmentation 적용해 모델 Generalization
Pruning, Knowledge Distillation 적용

모델 탐색(Wandb)

최종모델

backbone:
[3, 'Conv', [16, 3, 1, null, 1, 'Hardswish']],
[3, 'DWConv', [48, 5, 2, null, 'ReLU']],
[3, 'InvertedResidualv2', [64, 7, 2]],
[3, 'InvertedResidualv2', [128, 3, 1]],
[2, 'DWConv', [256, 5, 2, null, 'Hardswish']],
[1, 'Conv', [384, 1, 1]],
[1, 'GlobalAvgPool', []],
[1, 'FixedConv', [6, 1, 1, null, 1, null]],

결과

f1: 0.7194
time: 63.6555
score: 1.1415

boostcampaitech2/model-optimization-level3-cv-09