tochka-public/ml-pipeline-engine

Графовый движок для конвейеров ML-моделей

ML Pipeline Engine

Графовый движок для конвейеров ML-моделей

Table of Contents

• Usage
  • Что нужно, чтобы сделать свой пайплайн?
  • Поддерживаемые типы узлов
• Development
  • Environment setup

Usage

Что нужно, чтобы сделать свой пайплайн?

1. Написать классы узлов
2. Связать узлы посредством указания зависимости

Поддерживаемые типы узлов

Протоколы

1. DataSource
2. FeatureBase
3. MLModelBase
4. ProcessorBase
5. FeatureVectorizerBase

Примеры использования описаны в файле docs/usage_examples.md

Development

Environment setup

Clone the project

git clone https://github.com/tochka-public/ml-pipeline-engine.git

Go to the project directory

cd ml-pipeline-engine

Use Python>=3.8 and the package manager poetry to install ml-pipeline-engine dependencies

poetry install --no-root

For further contribution, use pre-commit hooks to maintain consistent code format

pre-commit install -f --hook-type pre-commit --hook-type pre-push

Run tests

python -m pytest tests