/deep-learning-school

Официальный репозиторий курса Deep Learning (2018-2019) от Deep Learning School при ФПМИ МФТИ

Primary LanguageJupyter Notebook

Deep Learning School

Официальный сайт: https://www.dlschool.org/

Школа глубокого обучения (Deep Learning School) — кружок от ФПМИ МФТИ, рассчитанный на старшеклассников, интересующихся программированием и математикой, а также студентов, которые хотят начать заниматься глубоким обучением. Занятия ведут студенты Физтех-школы прикладной математики и информатики МФТИ.

Цель курсов кружка — познакомить слушателей с основными принципами глубокого обучения (нейронных сетей) в интерактивном формате и на примере практических задач.

Для кого

У нас есть две части курса и два потока для первой части потоков:

  • Базовый поток первой части - скорее для школьников и для тех, кто давно закончил ВУЗ. Занятия будут особенно полезны школьникам 9-11 классов, увлекающимся математикой и программированием. Ученики, успешно выполнившие контрольные и сдавшие финальный проект, получат дополнительные баллы индивидуальных достижений при поступлении в бакалавриат МФТИ.

  • Продвинутый поток первой части курса - поток для студентов и выпускников. Занятия подойдут любым студентам технических специальностей, которые хотят начать разбираться в машинном обучении. На занятиях этого потока рассматриваются разнообразные продвинутые техники и новейшие разработки в области глубокого обучения. Ученики, успешно выполнившие контрольные и сдавшие финальный проект продвинутого потока, получат дополнительные баллы индивидуальных достижений при поступлении в бакалавриат и магистратуру МФТИ. Регистрация на следующую итерацию потока откроется в будущем.

  • Вторая часть курса рассчитана на тех, кто уже имеют опыт работы с нейросетями. В частности, мы приглашаем всех, кто прошёл первую часть. Основная тема курса NLP -- обработка текстов и аудио. Ученики, успешно выполнившие контрольные и сдавшие финальный проект второй части курса, получат дополнительные баллы индивидуальных достижений при поступлении в бакалавриат и магистратуру МФТИ.

Вне зависимости от аудитории, на которую рассчитан каждый поток, любой человек может подать заявку на прохождение любого потока.

Где

Всё обучение проходит онлайн на платформе Степик: https://stepik.org/org/dlschool.

Когда

Новая итерация всех трёх курсов запускается два раза в год: в феврале и сентябре.

Формат

В течение всего курса на платформе открывается доступ к материалам очередного занятия: видео лекции и семинара, интерактивные домашние задания. Примерно раз в месяц проводится онлайн-вэбинар, чтобы ответить на вопросы учеников.

Программа курса

Первая часть:

  1. Python: основы, Google Colab

  2. Введение в линейную алгебру. Векторы. Матрицы и операции с ними. Библиотека NumPy

  3. Библиотеки Pandas и MatPlotlib. Основы машинного обучения

  4. Элементы теории оптимизации. Градиент. Градиентный спуск. Линейные модели

  5. Введение в глубокое обучение. Перцептрон. Нейрон с сигмоидой (и другими функциями активации). Основы ООП в Python

  6. Библиотека PyTorch. Многослойные нейросети

  7. Обучение нейронных сетей на практике. Cifar10, notMNIST

  8. Сверточные нейросети. Сверточный слой. Пулинг слой

  9. Практика обучения нейросетей. Классификация дорожных знаков

  10. Transfer Learning. Популярные в Computer Vision архитектуры

  11. Сегментация картинок. U-Net

  12. Участие в соревнованиях на Kaggle

  13. Object Detection. YOLOv3

  14. Классический GAN. Нейронный перенос стиля

Вторая часть:

  1. Базовые методы обработки текста

  2. Word Embeddings

  3. Рекуррентные нейронные сети

  4. LSTM, GRU ячейки

  5. Языковые модели

  6. Машинный перевод

  7. Text2Speech

  8. SuperResolution

  9. Speech2Text

  10. Практические советы по обучению нейросетей

  11. Диалоговые системы

Если Вы заметили неточность или ошибку в материалах — пожалуйста, сообщите нам!