/ml_pipeline_iris

основные инструменты пайплайнов

Primary LanguageJupyter Notebook

На занятии рассмотрим, как создать воспроизводимые эксперименты с помощью разных инструментов. Мы будем это делать на примере решения задачи про классификацию цветков ириса.

Задача

У нас есть 3 класса цветков и 4 поля фичей из датасета в sklearn (link). Надо построить и залогировать модель машинного обучения для экспериментов на этих данных.

Используемые инструменты

Для запусков экспериментов рассмотрены:

  • Jupyter
  • Python
  • DVC
  • MLflow
  • Airflow

Jupyter

Ссылка на ноутбук

Python

Тренировка, валидация, параметры запуска

DVC

Настройка пайплайна, параметры запуска, логи

Команды для запуска

dvc dag # проверить пайплайн

dvc repro # запуск эксперимента

dvc push # отправить данные в хранилище

dvc pull # скачать данные

dvc exp run # запуск эксперимента