/intro-to-dl-hse

Введение в глубинное обучение на ФКН ВШЭ

Primary LanguageJupyter Notebook

Курс "Глубинное обучение (ГО) 1 / Введение в ГО" на ФКН ВШЭ

Версии курса прошлых лет

Полезные ссылки

Лекции

Глоссарий с терминами.

  1. Метод обратного распространения ошибки, полносвязные нейронные сети: запись, доска
  2. Кросс-энтропийная функция потерь, Dropout, Batch Normalization: запись, доска
  3. Оптимизация нейронных сетей: запись, доска
  4. Операция свертки: запись, доска
  5. Сверточные архитектуры: запись, слайды
  6. Задачи компьютерного зрения: запись, слайды
  7. Токенизация, эмбеддинги, TextCNN: запись, доска
  8. Рекуррентные нейронные сети: запись, доска
  9. Архитектура трансформера: запись, доска
  10. Self-supervised learning, BERT, SimCLR: запись, доска
  11. Трансформеры для компьютерного зрения: запись, доска

Семинары

  1. Введение в библиотеку PyTorch. Автоматическое дифференцирование: ноутбук
  2. Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: ноутбук

Маленькие домашние задания

  1. Автоматическое дифференцирование и полносвязные нейронные сети: ссылка
  2. Сверточный классификатор: ссылка
  3. RNN и языковые модели: ссылка

Теоретические домашние задания

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

  1. Полносвязные нейронные сети: ссылка
  2. Сверточные нейронные сети: ссылка