-nvidia-docker에서 작성된 파일입니다.-
*첫 번째 줄 실행 후 ckpt/734model.pth이 위치해 있는지 확인부탁드립니다:)
git clone https://github.com/xodms0309/mz-hackerthon.git
cd mz-hackerthon
git-lfs
pip install -r requirements.txt
pip install .
sudo ubuntu-drivers autoinstall
nvidia-docker build -t docker-model -f dockerfile .
nvidia-docker run -ti --runtime=nvidia -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all docker-model
python prediction.py --input_text test.txt --output_text result.txt
cat result.txt
- preprocessing+agmentation.ipynb : 전처리 파일
- mz_hackerton_KoBERT.ipynb : Kobert 기반 모델 학습 파일
- train.tsv : 전처리 후 train data
- test.tsv : 전처리 후 test data (dev data를 test data로 사용)
- dev_accuracy_결과.ipynb : dev.txt의 라벨을 제거 후 accuracy를 뽑아낸 결과
- preprocessing.py : tsv 파일로 변환
- prediction.py : 주어진 input_text에 대해 ouput_text 출력
- decoder.txt : decoding 위한 파일 (주어진 train.txt을 바탕으로 생성)
- ckpt/734model.pth : Kobert_base.ipynb를 기반으로 학습한 모델
- train.txt 시각화(class별 데이터의 불균형 정도와 수 등 파악)
- train.txt 직접 확인
- 데이터 결측치, 중복 등 오류 제거
- tsv 파일로 변환
- random delete
- back translation
- swap
- 구글의 BERT 모델을 알맞게 train한 모델
- github의 SKTBrain/KoBERT를 baseline code로 이용
- base line code에 layer 추가 / parameter 조정
train accuracy | dev accuracy | test accuracy | epochs | |
---|---|---|---|---|
our model | 93% | 75.4% | 72.8% | 10 |
- lstm
- kobert2