- 강좌명: 컴퓨터언어학
- 강좌번호: 108.413A (001 & 002)
- 교수자: 박수지 (mam3b@snu.ac.kr, sut.i.palatalised@gmail.com)
- 교재: Jurafsky & Martin, Speech and Language Processing 3rd edition
- 선수과목: 언어와 컴퓨터(2021년)
컴퓨터언어학(108.413A)에서는 심층학습(딥러닝, 인공신경망)을 사용한 자연어처리 기법을 소개한다. 이 과목을 이수함으로써 수강생들은 여러 가지 인공신경망 모형들의 개략적인 원리를 이해하고 자연어처리 분야의 구체적인 과제를 해결하는 데 이를 활용할 수 있게 될 것이다. 이 강좌의 전반부에서는 로지스틱 회귀분석에 대한 이해를 바탕으로 순방향신경망(FFNN)과 합성곱신경망(CNN)에 대해 배우며, 이를 통해 주어진 영화평이 긍정적인지 부정적인지를 자동으로 분류하는 모형을 pytorch로 구현한다. 후반부에서는 순환신경망(RNN)을 응용하여 단어 사이의 문맥 정보를 포착하는 기법을 알아보고, 현재 다양한 자연어처리 과제에서 좋은 성능을 보이는 BERT와 GPT-2,3 등의 사전학습 언어모형(PLM)을 활용하는 방법을 익힌다.
| 회차 | 날짜 | 제목 | 슬라이드 | 실습 | 읽기 자료 |
|---|---|---|---|---|---|
| 1강 | 2022-03-02(수) | 강의 소개 | - | - | - |
| 2강 | 2022-03-07(월) | NumPy 실습: 행렬과 벡터 | [Slides] | - | [밑바닥부터 시작하는 데이터 사이언스: 선형대수] |
| 3강 | 2022-03-14(월) | 로지스틱 회귀분석 (1) | [Slides] | - | [SLP3 Ch. 5] |
| 4강 | 2022-03-16(수) | 로지스틱 회귀분석 (2) | [Slides] | - | [SLP3 Ch. 5] |
| 5강 | 2022-03-21(월) | 벡터의미론과 임베딩 (1) | [Slides] | - | [SLP3 Ch. 6] |
| 6강 | 2022-03-23(수) | 벡터의미론과 임베딩 (2) | [Slides] | - | [SLP3 Ch. 6] [Demo: Korean Word2Vec] [Social impacts & bias of AI] |
| 7강 | 2022-03-28(월) | 신경망 언어 모형 (1) | [Slides] | - | [SLP3 Ch. 7] |
| 8강 | 2022-03-30(수) | 신경망 언어 모형 (2) | [Slides] | - | [SLP3 Ch. 7] |
| 9강 | 2022-04-04(월) | 신경망 언어 모형 (3) | [Slides] | - | [SLP3 Ch. 7] |
| 10강 | 2022-04-06(수) | 신경망 언어 모형 (4) | [Slides] | - | [SLP3 Ch. 7] |
| 11강 | 2022-04-11(월) | 합성곱 신경망 (1) | - | - | [CS231n: Convolutional Neural Networks for Visual Recognition] |
| 12강 | 2022-04-13(수) | 합성곱 신경망 (2) | [Slides] | - | [Convolutional Neural Networks for Sentence Classification] |
| 13강 | 2022-04-20(수) | PyTorch 실습: 순방향 신경망 훈련 | - | [Colab] | - |
| 14강 | 2022-04-25(월) | 시퀀스 처리를 위한 딥러닝 (1) | [Slides] | - | [SLP3 Ch. 9] |
| 15강 | 2022-04-27(수) | 시퀀스 처리를 위한 딥러닝 (2) | [Slides] | - | [SLP3 Ch. 9] |
| 16강 | 2022-05-02(월) | 시퀀스 처리를 위한 딥러닝 (3) | [Slides] | - | [SLP3 Ch. 9] |
| 17강 | 2022-05-04(수) | PyTorch 실습: 순환 신경망 훈련 | - | [Colab] | - |
| 18강 | 2022-05-09(월) | 기계번역과 부호화기-복호화기 모형 (1) | [Slides] | - | [SLP3 Ch. 10] |
| 19강 | 2022-05-16(월) | 기계번역과 부호화기-복호화기 모형 (2) | [Slides] | [Colab] | [SLP3 Ch. 10] [KoNLPy: 형태소 분석 및 품사 태깅] |
| 20강 | 2022-05-18(수) | PyTorch 실습: 부호화기-복호화기 모형 훈련 | - | [Colab] | [NLP FROM SCRATCH] |
| 21강 | 2022-05-23(월) | PyTorch 실습: 부호화기-복호화기 모형 훈련 (계속) | - | [Colab] | - |
| 22강 | 2022-05-25(수) | 셀프 어텐션 계층과 트랜스포머 소개 | [Slides] | - | [Attention Is All You Need] |
| 23강 | 2022-05-30(월) | BERT와 문맥 임베딩 | [Slides] | - | [BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding] |
| 24강 | 2022-06-08(수) | Hugging Face 실습: transformers | - | [Colab] | [Hugging Face: Transformers: Pipelines for inference] [Hugging Face: Models] |