ETL test

Для выполнения потребуются:

  • Docker,
  • Python 3.6+

В виртуальное окружение установить зависимости из requirements-dev.txt.
Код для тестов положить в пакет etl.

Задачи:

* Сохранить данные из двух таблиц сервера-источника в одну денормализованную таблицу сервера-назначения. * Написать тест, проверяющий эквивалентность данных в обоих серверах.

Требования к коду:

* Загрузка данных батчами по интервалу дат с шагом в час. * Дозагрузка данных с момента последней даты в сервере назначения.