- 원서 제목: Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT
- 도서 링크
- 목표
- 구글 BERT의 정석 완독
- 챕터 별 연습문제에 어느 정도 스스로 답할 수 있을 정도의 이해
- BERT 기반의 다른 NLP 논문을 읽을 수 있을 정도의 이해
- 방식:
- 주 1회 1챕터를 2명씩 돌아가면서 발제
- 논문을 참고할 수 있는 챕터는 논문 참고
- 발제하지 않는 스터디원들은 해당 분량을 완독
- Chapter 별로 issue 발행하여 궁금하거나 어려운 부분 스터디일에 공유 및 토의
- 기간: 2022.01.12 ~ 2022.03.30(12주)
- 스터디 일시: 매주 수요일 21:00 ~ 22:00(25+25분 발표 + 10분 토의) (스터디원들과의 협의 하에 사전 조정 가능)
- Google Meet Link
스터디 시작일(220112)을 random seed로 하여 발표 순서를 랜덤으로 배정하였습니다. Code
Chapter | 발제자 |
---|---|
1. 트랜스포머 입문 | 이은식(fixed) |
2. BERT 이해하기 | 남수연, 박상일 |
3. BERT 활용하기 | 서희, 이은식 |
4-1. BERT의 파생모델 1 ALBERT, RoBERTa | 이은식, 남수연 |
4-2. BERT의 파생모델 1 ELECTRA, SpanBERT | 박상일, 서희 |
5. BERT의 파생모델 2 지식 증류 기반 | 박상일, 이은식 |
6. 텍스트 요약을 위한 BERTSUM 탐색 | 서희, 남수연 |
7. 다른 언어에 BERT 적용하기 | 이은식, 박상일 |
8. sentence-BERT 및 domain-BERT 살펴보기 | 남수연, 서희 |
9. VideoBERT, BART | 박상일, 서희 |
10. 한국어 언어 모델 KoBERT, KoGPT2, KoBART | 이은식, 남수연 |
# repo 시작 위치를 /로 표기
/summaries # 발제 자료 업로드
/images # 발제 자료 이미지 업로드 (발제 자료에 이미지가 있다면 해당 디렉토리에 업로드해 상대경로로써 이미지 삽입)
/codes # 발제 내용 기반 예시 코드 등 작성 시 해당 디렉토리에 업로드
- 발제 파일 명명 방식:
chapter01_발제자(e.g. eunsiklee.확장자)
- 발제 파일 형식: Markdown, ipynb, pdf 등 자유형식
- 남수연(@mori8)
- 박상일(@shyram)
- 서희(@0hee0)
- 이은식(@emphasis10)
- 패널티는 따로 정하지 않지만 추후 스터디 운영 상태에 따라 추가될 수 있습니다.