artemovae/nlp-course-mipt

NLP course for MIPT

nlp-course-mipt 2019

Курс по анализу текстов

Преподаватели:

• Екатерина Артемова
• Емельянов Антон (login-const@mail.ru)
• Сергей Аксенов

Правила.

• Домашние задания сдаются в anytask. Invite в телеграмм канале курса.

Домашние задания

1. Named Entity Recognition

Определение именованных сущностей с помощью архитектуры SENNA.

• Contest на kaggle.
• Условие git
• Посылать в anytask.

2. NMT

Машинный перевод.

• Условие git
• Посылать в anytask.

Занятия

Занятие 5. Языковые модели

Материалы тут

Полезные ссылки

• LSTM explained
• The Illustrated BERT, ELMo, and co.
• Transformer-XL explained

Ссылки на реализации языковых моделей/примеры использования:

• ELMO: tf - ru, en; pytorch - for many languages, paper
• ULMFit: pytorch - en, ru, тайга, ru wiki, paper
• Flair: pytorch - en chars, paper
• BERT: tf - multilingual, pytorch - multilingual, paper
• Transformer-XL: tf, pytorch - en, paper, explanation
• OpenAI GPT-2: en, paper

Занятие 6. Seq2Seq и Attention

Материалы тут

Занятие 7. Синтакс

Материалы тут

Занятие 8. QA

Материалы тут

Полезные ссылки и статьи

IR based QA

• Reading Wikipedia to Answer Open-Domain Questions (DrQA), 2017
• R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS, 2017
• Pointer Networks, 2017
• S-NET: FROM ANSWER EXTRACTION TO ANSWER GENERATION FOR MACHINE READING COMPREHENSION, 2018
• QANET: COMBINING LOCAL CONVOLUTION WITH GLOBAL SELF-ATTENTION FOR READING COMPREHENSION, 2018
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018

KB based QA

• Open Information Extraction (OpenIE)
• Large-scale Simple Question Answering with Memory Networks, 2015

Рекомендуемые ресурсы

На английском

• Jurafsky & Martin
• Курс Лауры Каллмайер по МО для NLP
• Курс Нильса Раймерса по DL для NLP
• Курс в Оксфорде по DL для NLP
• Курс в Стенфорде по DL для NLP
• Reinforcment Learning for NLP

На русском (и про русский, в основном)

• Курс nlp в яндексе
• НКРЯ
• Открытый корпус
• Дистрибутивные семантические модели для русского языка
• Морфология
• Синтаксис
• Томита-парсер
• mathlingvo
• nlpub
• Text Visualisation browser

Литература

• Manning, Christopher D., and Hinrich Schütze. Foundations of statistical natural language processing. Vol. 999. Cambridge: MIT press, 1999.
• Martin, James H., and Daniel Jurafsky. "Speech and language processing." International Edition 710 (2000): 25.
• Cohen, Shay. "Bayesian analysis in natural language processing." Synthesis Lectures on Human Language Technologies 9, no. 2 (2016): 1-274.
• Goldberg, Yoav. "Neural Network Methods for Natural Language Processing." Synthesis Lectures on Human Language Technologies 10, no. 1 (2017): 1-309, URL.