Iniciar

pyenv local 3.12.4
poetry init
poetry shell

Aula 08

Criar uma pipeline de ETL simples

Ferramentas de Processamento

Escolher uma ferramenta de processamento:

  • Pandas
  • Polars
  • Duckdb
  • Spark
  • Dask

Ferramenta de Qualidade

Escolher uma ferramenta de qualidade:

  • Pydantic -> para trabalhar linha a linha ou API
  • Pandera -> para trabalhar com SQL ou DataFrame