ViXtract

Удобный ETL инструмент с открытым исходным кодом на основе Python.

ViXtract – это сборка на основе популярных открытых инструментов обработки данных, которая помогает аналитикам BI самостоятельно выгружать, очищать и преобразовывать данные без помощи ETL разработчиков. Главные принципы ViXtract – удобство работы аналитика и неограниченные возможности развития. В основе ViXtract лежат три ключевых компонента: Jupyter - интерактивная среда для работы с Python, PETL – простая в освоении библиотека преобразования данных, Cronicle - планировщик с функциями мониторинга и оркестрации задач.

Сайт проекта - https://www.vixtract.ru

Установка

Для установки ViXtract используйте команду ниже (рекомендуется использовать Ubuntu 18.04 LTS):

sudo apt-get update && sudo apt-get install git -y && git clone https://github.com/visiologyofficial/vixtract && cd vixtract && sudo chmod +x *.sh && sudo ./install.sh

Если планируется использовать ViXtract с публичным доменом и HTTPS, рекомендуется до установки ViXtract настроить домен на DNS-сервере. В этом случае при установке ViXtract можно будет сразу настроить получение SSL сертификата через Letsencypt.

Установщик запросит следующую информацию:

Домен/hostname. Можно оставить пустым для доступа к серверу по IP, но в этом случае автоматическая настройка HTTPS будет недоступна.
Согласие на автоматическую настройку HTTPS
Имя пользователя и пароль для первой учетной записи. С помощью этой учетной записи можно будет сразу приступить к работе с ViXtract.
Пароль для учетной записи администратора Cronicle ('admin')
Пароль для учетной записи 'etl' в предустановленной PostgreSQL

После установки ViXtract будет доступен в браузере по адресу http(s)://<домен или IP>

При необходимости можно запускать скрипт install.sh многократно.

Начало работы

Рекомендуем начать знакомство с ViXtract в следующем порядке:

Посмотрите вводный ролик по ViXtract в разделе документация на сайте https://www.vixtract.ru
Установите ViXtract или зарегистрируйтесь на публичном тестовом сервере
Пройдите вводные уроки по ViXtract в формате Jupyter Notebook - папка 'tutorials'
Ознакомьтесь со вводным курсом по Python, например "Python за 15 минут" https://www.youtube.com/watch?v=h8ajN8_XiBk
Возьмите свою реальную задачу и попробуйте ее реализовать. При этом вам будут полезны:
1. Примеры реализации коннекторов - папка 'examples'
2. Чат сообщества ViXtract - https://t.me/vixtract_ru
3. Документация PETL - https://petl.readthedocs.io/en/stable/

Настройка ViXtract

Для настройки ViXtract после установки предусмотрен скрипт 'conf.sh'. Доступны следующие ключи:

'-u' Добавление учетной записи

'-ssl' Включение/выключение HTTPS

'-h' Настройка домена/hostname

'-s' Настройка монтирования облачного хранилища по протоколу S3

'-p' Настройка пароля учетной записи 'etl' в PostgreSQL

Технические подробности состава сборки

При установке выполняются следующие действия:

Установлен JupyterHub с интерфейсом JupyterLab
Установлен менеджер окружений Anaconda
Созданы два окружения - dev и prod, а также настроены соответствующие ядра в Jupyter
В оба окружения установлен базовый набор пакетов, включая PETL и вспомогательные библиотек
Установлен планировшик Cronicle и модуль исполнения papermill
Установлен Nginx
Установлен S3FS для монтирования облачного хранилища по протоколу S3
Установлен и настроен PostgreSQL
Создана база etl в PostgreSQL
Сделаны дополнительные настройки, интегрирующие все компоненты сборки, в том числе настройки прав, systemd, nginx и др.

Известные проблемы