/dfanalyzer-with-flower

Primary LanguageJavaScript

Flower-DfAnalyzer

A partir da pasta contendo Dockerfile e arquivos a serem copiados para o container, constuir a imagem rodando:

sudo service docker start
docker build -t dfanalyzer .

Para criar dataset_partitions

git clone git@github.com:alan-lira/dataset-splitter.git -b develop

Para iniciar o DfAnalyzer:

docker-compose up dfanalyzer
  • A pasta com as partições criada é usada como volume aqui para inserção no MonetDB

Para carregar dados do particionamento no MonetDB:

cd dataset_partitions_monetdb && virtualenv venv && . venv/bin/activate && pip install -r requirements.txt && python import_monetdb.py

Para iniciar o servidor do flower:

docker compose up server

Para iniciar um cliente:

docker compose up client

Para iniciar 5 clientes com o dataset já particionado:

docker compose up client1 client2 client3 client4 client5

É possível, então, consultar o banco MonetDB:

mclient -u monetdb -d dataflow_analyzer -h localhost -p 50000
#password: monetdb

Para listar as tabelas que não são do sistema:

SELECT tables.name FROM tables WHERE tables.system=false ;

Para ver a interface web do DfAnalyzer, acessar http://localhost:22000

  • É possível visualizar o grafo com as tasks do workflow executado.
  • OBS: queries pela interface gráfica não estão funcionais.

Link do repositório do DfAnalyzer: https://gitlab.com/ssvitor/dataflow_analyzer