| Обработка данных в python |
Ноутбук Lenta Hackaton (данные)
Дьяконов Базовый Python
Дьяконов Pandas
Дьяконов Numpy
Дьяконов sklearn
_________________________________
Дополнительно
Дьяконов. Простые методы анализа данных
Дьяконов. Генерация признаков |
Курс по базовому питону
Задачи на pandas
Задачи на numpy и pandas (Неделя 2 - Векторы, Матрицы) |
|
Основы анализа данных |
| Градиентные методы оптимизации |
Основные
Ноутбук
ШАД Матричной дифференцирование
Лекция Дьяконова
Теория по матричному дифференцированию
_________________________________
Дополнительно
Примеры нахождения матричных производных
Интерактивные визуализации методов оптимизации
Математика в машинном обучении (225 страница, Continuous optimization) |
Семинарские задачи
Практическая |
|
|
| Метрические методы |
Основные
ШАД Метрические методы
Соколов KNN
Дьяконов Метрические методы
ШАД кросс-валидация
ШАД подбор гиперпараметров
Дьяконов Валидация моделей
Соколов KNN (с картинками)
Соколов Обучение метрик
Соколов Приближённые методы поиска ближайших соседей
_________________________________
Дополнительно
Ноутбук
Соколов. Приближённый поиск ближайших соседей. NSW и HNSW (начиная с 40:50)
Обзор методов приближённого поиска ближайших соседей |
Семинарские задачи |
Вариант1
_______________
Тест от Дьяконова |
Запись лекции |
| Логические методы |
Основные
ШАД решающие деревья
Соколов Решающие деревья
Дьяконов Решающие деревья
_________________________________
Дополнительно
Соколов деревья с картинками
Соколов Пример построения дерева
Визуализация построения RF
Uplift моделирование с помощью деревьев |
Семинарские задачи
Практическая |
Вариант 1
_______________
Тест от Дьяконова |
Запись лекции |
| Метрики качества |
Основные
Соколов Метрики качества бинарной классификации
Дьяконов Метрики качества
Соколов Метрики качества многоклассовой классификации
Соколов ROC-AUC
_________________________________
Дополнительно
Дьяконов ROC-AUC
Дьяконов Кривые в ML |
Семинарские задачи |
Тест от Дьяконова (AUC) |
|
| Линейные методы |
Основные
Соколов Обучение линейных классификаторов в общем виде
Соколов SVM и Logreg
Дьяконов Линейные методы
ШАД Линейные методы
Теория SVM (370 страница, Classification with Support Vector Machines)
__________________________________
Дополнительно
Ноутбук логрег
Ноутбук по условной оптимизации и SVM
Соколов logreg с картинками
Соколов SVM с картинками
__________________________________
Ликбез по условной оптимизации
Условная оптимизация
Теория ККТ с примерами
Теория двойственности
Заметки о решении задач условной оптимизации |
Семинарские задачи |
|
Запись лекции по логрегу |
| Ядровые методы |
Основные
Соколов. Ядра 1
Соколов. Ядра 2
Соколов. Ядра 3
Соколов. Ядра 4
Математика в машинном обучении (388 страница, Kernels) |
Семинарские задачи |
|
|
| Обучение без учителя |
Embeddings
Снижение размерности и кластеризация (ноутбук)
Соколов PCA
Word2Vec
Соколов t-SNE
Математика в машинном обучении (стр. 317, Dimensionality Reduction with Principal Component Analysis)
__________________________________
Кластеризация
Соколов Кластеризация
DBSCAN
__________________________________
Дополнительно
clustering+tsne (ноутбук)
Байесовский вариант PCA
Embeddings в рекомендательных системах (2.1.2 Модели со скрытыми переменными)
t-SNE paper
Соколов про t-SNE (Обратите внимание, что там потерян минус в определении условных вероятностей p и q) |
Семинарские задачи |
Вариант 1 |
Запись лекции по PCA |
| Байесовские методы |
Основные
Дьяконов Байесовский подход в ML
Соколов ЕМ
Соколов plsa
Соколов ЕМ для PCA
_________________________________
Дополнительно
Воронцов Topic modelling (presentation)
Ветров Bayes PCA
Воронцов Topic modeilling (pdf)
Курс ФКН по байесовским методам |
Семинарские задачи |
|
Запись лекции |
| Bias-variance decomposition |
Основные
Соколов BVD
Дьяконов BVD
Эмпирическая оценка BVD компонент
_________________________________
Дополнительно
BVD для линейной регрессии
BVD для K-NN
Визуализация BVD |
Семинарские задачи |
|
|
| Ансамбли |
Градиентный бустинг
Соколов бутстрэп и AdaBoost
Соколов Градиентный бустинг
Дьяконов Градиентный бустинг
Соколов Градиентный бустинг (вопросы и ответы)
Соколов XGBoost
Дьяконов Ансамбли
Дьяконов RF & GBM
Дьяконов cравнение современных реализаций бустинга (Видео)
_________________________________
Стэкинг
Гущин Stacking
Дьяконов Stacking
_________________________________
Дополнительно
LighGBM paper
CatBoost paper
Bagging vs. Boosting
Соколов Градиентный бустинг с картинками |
Семинарские задания |
Вариант 1 |
|
| Recsys |
Основные
Соколов Обучение ранжированию
Соколов Рекомендательные системы
Дьяконов Recsys
_________________________________
Дополнительно
MTS. Your 1st recsys
MTS. Your 2nd recsys
Курс ФКН по recsys
|
Семинарские задачи |
|
|
| Нейронные сети |
Введение в DL Дьяконов
Backprop для полносвязных сетей
Воронцов NN
Пример обучения NN в pytorch
_________________________________
CNN
Дьяконов CNN
Дьяконов Архитектуры CNN
Войта RNN и CNN для классификации текстов
Интерактивные свёртки
_________________________________
RNN
DeepBayes RNN
Дьяконов RNN
distill RNN
colah's Understanding LSTM
_________________________________
Attention & Transformer
Attention & Transformer (Voita)
Illustrated Transformer (Jay Alammar)
Attention is all you need (оригинальная статья)
Дьяконов Transformer
_________________________________
Дополнительно
Bishop, Deep Learning Foundations and Concepts
Интерактивное введение в NN
NN playground
Yann LeCun
Курс Войты по NLP
Визуализации свёрток с различными параметрами
Визуализация трансформеров (colab)
Вывод LSTM |
Семинарские задачи
Задачи на нейронки руками |
|
|