- 이 repo는 p stage 3주차에 진행했던 open domain question answering 코드입니다.
- pytorch lightning으로 작성되었고 huggingface transformers를 사용했습니다.
- template 을 사용했습니다.
.
├── /1_generator_qa
│ └── generator-based question answering. kobart를 fine-tuning
├── /2_dense_retriever
│ └── in-batch negative로 학습. koelectra-small-v3를 fine-tuning
├── /3_dense_retriever_advanced
│ └── MOCO에서 아이디어를 얻어서 전체 document에 대한 question encoder 학습 진행
└── /4_rag
└── huggingface의 예제를 참고해서 작성한 rag fine-tuning. 위의 폴더에서 학습한 모델을 사용