Projeto realizado no Workshop aberto ministrado pelo Luciano Vasconcelos Sobre ETL de Python e DuckDB
O projeto tem o objetivo de realizar a extração de dados de uma pasta no Google Drive, extraindo arquivos de CSV. Em seguida é efetuado a transformação com calculo do total_vendas E por fim o carregamento dos dados em um banco Postgres na Nuvem(Render).
O arquivo pipeline_00 é o pipeline original da ETL, cumprindo o papel com exito, O arquivo pipeline_01 é o pipeline com tratamento para diferentes tipos de arquivo, seja um CSV, JSON ou Parquet.
Pyenv e Poetry para padrões de projeto e gerenciamento de dependencias, Python para criação do script ETL, DuckDB para transformação dos dados, Render para criação de um banco Postgres na Nuvem, DBeaver como client do banco de dados para criação da tabela e dos inserts, Git e GitHub para versionamento e armazenamento dos codigos