/etl

Проект учебной ETL системы

Primary LanguagePython

Проект ETL системы

В системе представлено 3 основные сущности:

  1. Reader-объект - умеет подключаться и считывать данные из различных источников.
  2. Writer-объект - умеет подключаться и записывать данные в различные источники.
  3. Pipeline представляет собой основной API-объект для создания потоков данных. Преобразования данных после чтения происходит с помощью вызываемых объектов, которые можно зарегистрировать в объекте pipeline через метод register.

TODO:

  • Реализовать writer для csv файлов
  • Релизовать reader/writer для sqlite базы данных
  • Попробовать получить данные из sqlite базы данных, произвести трансформацию и закинуть в csv файл