Non-official implementation of Conversational Emotion-Cause Pair Extraction with Guided Mixture of Experts
수행할 내용:
추가적인 실험을 위해 다양한 pre-trained model에 대해 generalize, additional metrics, fine-tuning methods 도입
pytorch Lightning을 활용
PRG-MoE referenced
- python 3.10.10
- pytorch 1.13.1
- pytorch-cuda 11.6
- tqdm 4.64.1
- numpy 1.23.5
- huggingface_hub 0.12.0
- cuda 11.6.1
- transformers 4.26.1
- scikit-learn 1.2.0
- dotenv: pip install python-dotenv
- pytorch-lightning 2.0.1: pip install lightning
- peft: !pip install -q git+https://github.com/huggingface/transformers.git@main git+https://github.com/huggingface/peft.git
The dataset used in this model is RECCON dataset
현재 모델 상황
Commit Conventions (from https://treasurebear.tistory.com/70)
🎉 :tada: 프로젝트 시작 Begin a project.
📝 :memo: 문서 추가/수정 Add or update documentation.
🎨 :art: 문서의 시각적 개선 Improve structure / format of the documents.
✨ :sparkles: 코드의 구조/형태 개선 Improve structure / format of the code.
📈 :chart_with_upwards_trend: 시각화/분석 추가 Visualization, analyze feature.
⚡️ :zap: 새 기능 Introduce new features.
🔥 :fire: 코드/파일 삭제 Remove code or files.
🐛 :bug: 버그 발견 Find a bug.
🔨 :hammer: 버그 수정 Fix a bug.
🙈 :see_no_evil: .gitignore 추가/수정 Add or update a .gitignore file.
💡 :bulb: 주석 추가/수정 Add or update comments in source code.
💩 :poop: 똥싼 코드 Write bad code that needs to be improved.
🍻 :beers: 술 취해서 쓴 코드 Write code drunkenly.
📦 :package: 데이터베이스 관련 수정 Perform database related changes.