/formula1-dbt

Repositorio criado para testar as funcionalidades da ferramenta dbt

Primary LanguageShellMIT LicenseMIT

formula1-dbt

Docker PostgreSQL dbt Apache Superset

Repositorio criado para testar as funcionalidades da ferramenta dbt

Para iniciar o projeto

Rodando o script build.sh irá descompactar o arquivo .zip com as tabelas em formato csv, montar e iniciar os containers do banco e do dbt:

sh build.sh

Após todo o setup estiver pronto basta rodar o comando dbt seed, que irá carregar os arquivos .csv em tabelas do banco:

docker exec -it dbt dbt seed

Para rodar o projeto

Rodar o comando dbt run para executar as transformações das tabelas do schema raw para refined:

docker exec -it dbt dbt run

Para validar os resultados gerados basta rodar o comando dbt test:

docker exec -it dbt dbt test

Gerando documentação dos models

Para gerar e servir localmente a documentação dos models, sources e macros basta rodar os comandos dbt docs generate e dbt docs serve:

docker exec -it dbt dbt docs generate
docker exec -it dbt dbt docs serve

Visualizações

Algumas visualizações foram criadas em um dashboard utilizando o Apache Superset. Para acessar basta ir em http://localhost:8088/.