Лектор: Дмитрий Петрович Ветров
Семинаристы: Кирилл Струминский, Артём Соболев, Арсений Ашуха, Олег Иванов, Айбек Аланов, Артëм Гадецкий, Оганесян Виктор, Александр Гришин
Ассистенты: Никита Юдин, Александр Марков, Никита Бондарцев, Денис Ракитин
Контакты: по всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять тег [ШАД НБМ20] (письма без этого тега могут просто не дойти до преподавателей).
У курса также есть чат в телеграме. Все объявления по курсу будут выкладываться именно в этом чате, поэтому настоятельно рекомендуется к нему присоединиться. Основной язык чата - английский.
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состязающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
- В рамках курса предполагается выполнение 4 практических заданий, каждое из которых оценивается из 10-ти баллов.
- Из них складывается оценка как как среднее взвешенное
<Средняя_оценка_за_задания>= 1 / 6 * SVD + 1 / 6 * NF + 1 / 3 * VAE + 1 / 3 * DLV (аббревиатуры тем) - Необходимым условием получения оценки 3/4/5 (по пятибальной шкале) за курс является сдача не менее 1/2/3 практических заданий соответственно.
- В конце семестра можно опционально сдать экзамен по курсу (он не обязателен, оценку «отлично» можно получить и без него!). Путем сдачи экзамена можно повысить свою оценку максимум на 3 балла.
- Итоговый балл за курс вычисляется по формуле <Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>.
Итоговый балл округляется математически. - Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
- В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing Flows, Variational Autoencoder, Discrete Latent Variables.
- Приём заданий по курсу осуществляется в системе anytask.
- Все задания сдаются на Python 3 с использованием PyTorch.
- Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
- Все задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. Для студентов филиалов первая неделя после срока идёт без штрафа.
- На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты.
Даты выдачи заданий: 24 Февраля, 3 Марта, 10 Марта, 24 Марта
| Занятие | Дата занятия | Название (Материалы) |
|---|---|---|
| 1 | 10 февраля | Лекция «Стохастический вариационный вывод» Семинар «Применение SVI на примере масштабируемых тематических моделей» (блогпост Артема Соболева) |
| 2 | 17 февраля | Лекция «Дважды стохастический вариационный вывод» Семинар «Дисперсия стохастических градиентов в примерах» |
| 3 | 24 февраля | Лекция «Байесовские нейронные сети» Семинар «Локальная репараметризация» |
| 4 | 3 марта | Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» |
| 5 | 10 марта | Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» |
| 6 | 17 марта | Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» Семинар «f-GAN» |
| 7 | 24 марта | Лекция «Stochastic softmax» Семинар «Stochastic softmax» |
| 8 | 31 марта | Лекция по последним результатам в области исследования поверхности функции потерь нейросетей Семинар «Deep MCMC» |
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.
Сайт группы Байесовских методов.