YanaDM/DL_CSHSE_spring2018

Материалы курса "Глубинное обучение", прочитанного на ФКН ВШЭ весной 2018г.

Материалы курса "Глубинное обучение", прочитанного на ФКН ВШЭ весной 2018г.

Преподаватели

Лектор: Антон Осокин

Семинаристы: Артем Бабенко, Алексей Умнов, Алексей Озерин

Программа курса

• Введение (лекция 1, семинар 1)
• Основные концепции
  • Механика нейросетей и backprop (лекция 2, семинар 2)
  • Виды архитектур (лекция 3, семинар 3)
  • Обучение и регуляризация (лекция 4, семинар 4)
• Продвинутые темы
  • Применения в компьютерном зрении (лекция 5, семинар 5)
  • Применения для обработки языка (лекция 6, семинар 6)
  • Adversarial X (лекция 7, семинар 7)
  • Вероятностные модели (лекция 8, семинар 8)
  • Дифференцируемое программирование (лекция 9, семинар 9)
  • Недифференцируемые модели (лекция 10)
• Приглашенный доклад: Борис Янгель о нейросетях в диалоговых системах (лекция 11)

Disclaimer

Курс "Глубинное обучение" разрабатывался не как онлайн-курс, а как классический университетский курс с лекциями и семинарами. Видео-запись осуществлялась только для внутреннего использования (Кристина, спасибо большое!).

Тем не менее, мы решили выложить все материалы в открытый доступ под MIT лицензией на случай если они кому-то будут полезны. Единственная просьба, пожалуйста, не выкладывайте решения семинаров в открытый доступ!

Материалы

Все материалы курса на русском языке!

Выложены следующие материалы:

• Презентации лекций
• Jupyter ноутбуки семинаров
• Видеозаписи лекций

Пожалуйста, не выкладывайте решения семинаров в открытый доступ! Мы хотим переиспользовать материалы на следующих итерациях курса.

Минутка рекламы: на ФКН мы каждый год набираем студентов-магистров-аспирантов — приходите к нам учиться! Очно мы всегда стараемся дать больше, чем просто контент :-)

Технические требования семинаров

Все семинары разрабатывались для выполнения на обычных ноутбуках, т.е., не требуют значительных вычислительных ресурсов (в частности не требуют GPU). Тем не менее требования к железу ненулевые, и на некоторых компьютерах все работает очень медленно. Бесплатные вычислительные ресурсы (в том числе с GPU) можно получить, например, на сайте https://colab.research.google.com.

В рамках курса мы использовали python 3.6, pytorch v0.3.0, torchvision v0.2.0. Поддержка других библиотек и других версий python и pytorch не осуществлялась.

Для настройки библиотек мы рекомендуем использовать менеджер пакетов Anaconda (есть для Linux, OS X, Windows). Для установки в Linux и OS X смотрите инструкции на сайте http://pytorch.org/. Для установки в Windows на момент курса работали команды conda install -c peterjc123 pytorch и pip install torchvision.

Также можно использовать Docker (https://hub.docker.com/r/alexeyum/hse_deep_learning/), в котором всё установлено.