/neural_nets_dpo

Курс нейронок для программы доп. образования вышки

Primary LanguageJupyter Notebook

Нейросетки для программы повышения квалификации ФКН ВШЭ

  • Это версия 2020 года выпуска
  • Материалы лекции и семинара для каждой неделе в папках ./week*
  • Любые технические вопросы, идеи, баги добавляйте в issue
  • Курс сделан на Tensorflow 2.0
  • Сервис для скачки отдельных папок из репозитория

Список того, что мы считаем домашками:

Что ещё?

  • Большое дз по сегментации после 7 пары
  • Большое дз по текстам после 11-12 пары
  • Дз по автопереводу с украинского на русский после 10 пары
  • Дз по ганам после 9 пары
  • Дз с VAE после 8 пары
  • Дз с воровством ELMO после 13 пары

Большой план маленьких побед

  • week01 Введение в нейросетки. Собираем первую нейронку в Keras.
  • week02 Адаптивные варианты градиентного спуска. Алгоритм обратного распространения ошибки.
  • week03 Основы Tensorflow.
  • week04 Нормализация по батчам. Инициализация. Эвристики для обучения сеток.
  • week05 Свёрточные нейронные сетки.
  • week06 Inception. Resnet. Transfer learning.
  • week07 Что видят свёрточные сетки. Перенос стиля.
  • week08 Автокодировщики, вариационные автокодировщики.
  • week09 Генеративные нейронные сетки.
  • week10 Введение в NLP, word2vec, эмбединги
  • week11 Рекурентные неросетки, LSTM, GRU.
  • week12 Свёрточные сетки для NLP.
  • week13 Fasttext, ELMO. Transformer models. BERT. Внимание.
  • week14 Seq2Seq модели. Автопереводы. Немного про байесовские нейронные сети.

Ещё идеи:

  • Metric Learning. Про распознавание лиц.

Contributors & course staff

Собирательством и созданием материалов, а также преподаванием занимались Ульянкин Филипп, Соловей Влад и Зарманбетов Ахмед.