Материалы:
- Язык Go (Николай Марков)
- Промышленное A/B тестирование (Михаил Буряков)
Материалы:
- Real Time Decision Making решение в Райффайзен банке (Алексей Кузнецов и Антон Ярмолюк)
- Микросервисы (Вадим Мадисон)
Лабы:
Материалы:
- Мониторинг и отладка (Николай Марков)
Материалы:
- Spark and Spark-streaming (Артем Пичугин)
Материалы:
Лабы:
Материалы:
- Tarantool (Александр Краснощеков)
- ClickHouse (Мария Мансурова)
Материалы:
- Druid (Артем Москвин)
Материалы:
- Hadoop. Форматы хранения данных (Антон Пилипенко)
Лабы:
- Лаба 3. Планирование задачи по токенизации URL с помощью Airflow
- Лаба 4. Запуск джобы Spark по расписанию и сохранение результата в ClickHouse
Материалы:
- Пайплайны или От консоли к облакам (Николай Марков)
Материалы:
- Airflow (ссылка на сайт с презентацией) (Александр Шорин)
- Планировщики (Шедулеры) - cron, Ooozie, Luigi, Azkaban (Артем Пичугин)
Материалы:
- Directual изнутри (Артем Маринов и Василий Сафронов)
- Lambda-сервисы (Александр Сербул)
Материалы:
- CI/CD в Python (Николай Марков)
Лабы:
Материалы:
- ELK - ElasticSearch + Logstash + Kibana (Илья Середа)
Материалы:
- Data Engineering в XING (Николай Рекубратский)
- Как построить data-платформу с нуля (Павел Тарасов)
Лабы:
Материалы:
- Параллелизм и Асинхронность в Python (Николай Марков)
Материалы:
Материалы:
- Экосистема Hadoop (Антон Пилипенко)
Материалы:
- Kafka (Артем Москвин)
Лабы:
Материалы:
- О программе. Знакомство (Артем Пичугин)
- Введение в Data Engineering. Lamda- и kappa-архитектура (Артем Москвин)
Привет и добро пожаловать в учебное пространство! По мере прохождения курса, в этом репозитории будут появляться все необходимые материалы:
- Лабораторные работы и суперачивки —
/labs. - Слайды и презентации с лекций и семинаров, а также другие полезные материалы —
/materials.
Вы можете склонировать все текущие материалы себе локально с помощью стандартной команды git:
git clone https://github.com/newprolab/content-dataengineer2
И в дальнейшем синхронизировать обновления:
git pull
Либо просто заходить на эту страницу: все обновления будут отражаться в этом README-файле, а github умеет рендерить все нужные нам типы документов.
А пока можете посмотреть нашу первую презентацию о программе: Data Engineer 2.0 — О программе. Мы рекомендуем периодически к ней возвращаться: в ней список всех занятий и лаб — так что вы сможете всегда понимать, где находитесь сейчас и что будет дальше по программе.