pyenv local 3.12.4
poetry init
poetry shell
Criar uma pipeline de ETL simples
Escolher uma ferramenta de processamento:
- Pandas
- Polars
- Duckdb
- Spark
- Dask
Escolher uma ferramenta de qualidade:
- Pydantic -> para trabalhar linha a linha ou API
- Pandera -> para trabalhar com SQL ou DataFrame