/SSL-narratives-NLP-1

거꾸로 읽는 self-supervised learning in NLP

[스터디 종료] 거꾸로 읽는 self-supervised-learning 시즌2: Contrastive learning on NLP

  • [마감] 신청 Google form (8/6까지)
  • 거꾸로 읽는 SSL 이번에는 NLP 분야로 넘어 왔습니다! :)
  • 이번에는 Contrastive Learning이 적용된 NLP논문에 중하여 역사적으로 의미가 있었던 논문을 살펴봅니다.
  • 해당 논문에서 제시하는 메소드의 특징 그리고 역사적으로 평가되는 이유에 대해서 즐겁게 토론하는 시간을 가집니다.
  • [스터디 종료] 2022.10.29

기간

  • 8/13 ~ 10/29 (11주간, 추석주간 제외)

발표 논문 및 순서

google sheet

In-batch negative training

paper title 논문 발표 YouTube
1 주차 DPR: Dense Passage Retrieval for Open-Domain Question Answering 김강민 video

Positive mining

  paper title 논문 발표 YouTube
2 주차 ICT: Latent Retrieval for Weakly Supervised Open Domain Question Answering 조성국 video
3 주차 DAPT/TAPT: Don't Stop Pretraining: Adapt Language Models to Domains and Tasks 김동규 video
4 주차 Condenser: a Pre-training Architecture for Dense Retrieval 김희은 video
5 주차 Contriever: Towards Unsupervised Dense Information Retrieval with Contrastive Learning 박이삭 video

Hard negative mining

  paper title 논문 발표 YouTube
6 주차 ANCE: Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval 김기범 video
7 주차 coCondensor: Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval 이유경 video
8 주차 Multi-stage Training with Improved Negative Contrast for Neural Passage Retrieval 이영수 video

Contrastive learning with model scaling

paper title 논문 발표 YouTube
9 주차 Text and Code Embeddings by Contrastive Pre-Training 이동형 video
10 주차 wrap-up 강재욱 video

관련 링크