FUlyankin/neural_nets_dpo

Курс нейронок для программ повышения квалификации на ФКН ВШЭ

Нейросетки для программы повышения квалификации ФКН ВШЭ

• Это версия 2020 года выпуска
• Материалы лекции и семинара для каждой неделе в папках ./week*
• Любые технические вопросы, идеи, баги добавляйте в issue
• Курс сделан на Tensorflow 2.0
• Сервис для скачки отдельных папок из репозитория

Список того, что мы считаем домашками:

• Первая нейронка

• 50 оттенков градиентного спуска

• Циклическая скорость обучения

• Стрельба по ногам в keras

• Домашка из ШАД с реализацией собственной нейронки

• Свёртки по котам и собакам

• Дз по ганам в тетрадке с ганами

• Дз по автопереводу с украинского на русский

Что ещё?

• Большое дз по сегментации
• Большое дз по текстам
• Дз с воровством ELMO после 13 пары

Большой план маленьких побед

• week01 Введение в нейросетки. Собираем первую нейронку в Keras.
• week02 Адаптивные варианты градиентного спуска. Алгоритм обратного распространения ошибки.
• week03 Основы Tensorflow.
• week04 Нормализация по батчам. Инициализация. Эвристики для обучения сеток.
• week05 Свёрточные нейронные сетки.
• week06 Inception. Resnet. Transfer learning.
• week07 Что видят свёрточные сетки. Перенос стиля.
• week08 Автокодировщики, вариационные автокодировщики.
• week09 Генеративные нейронные сетки.
• week10 Введение в NLP, word2vec, эмбединги
• week11 Рекурентные неросетки, LSTM, GRU.
• week12 Свёрточные сетки для NLP.
• week13 Fasttext, ELMO. Transformer models. BERT. Внимание.
• week14 Seq2Seq модели. Автопереводы. Немного про байесовские нейронные сети.

Ещё идеи:

• Metric Learning. Про распознавание лиц.

Contributors & course staff

Собирательством и созданием материалов, а также преподаванием занимались Ульянкин Филипп, Соловей Влад и Зарманбетов Ахмед.