lvgalvao

data-engineering-roadmap

Jornada engenharia de dados 2025

DataProjectStarterKit

Estrutura completa para iniciar um projeto de dados com Python, abrangendo ambiente, git, desenvolvimento, testes e documentação.

Duckdb-dbt-evidence-insights

end-to-end data engineering project

DWBlackFridayAnalise

ETLProjectAPIExtract

Projeto da live Extração de API do zero - Projeto completo de ETL com Python e Microsoft Azure, até o Dashboard.

IphoneProjectWebScraping

One-Billion-Row-Challenge-Python

The One Billion Row Challenge using Python

pipelineaovivo

projetoscrapingaovivo

workshop-dw-pagando-pouco

workshop 03 - como montar um dw pagando pouco

lvgalvao/Pipeline-Log-Management

lvgalvao/dataeng-pytest-cookbook

Compendium para Engenharia de Dados com pytest: melhores práticas, estruturas testáveis, e dicas de integração para pipelines robustos.

lvgalvao/pydantic_module

Este é um projeto simplificado focado em garantir a integridade dos dados através de validações eficientes. Utilizamos a biblioteca Pydantic para estabelecer regras rígidas nas entradas de registros de vendas, evitando inconformidades.

lvgalvao/InitAdventures

Explore o método __init__ do Python. Embarque nesta aventura para compreender suas nuances e aplicações práticas. Ideal para novatos e desenvolvedores experientes.

lvgalvao/5-conceitos-python

lvgalvao/Analisando-Dados-com-Bard

Este é um projeto de análise de dados que utiliza Streamlit, Google Cloud Services e Bard para gerar insights a partir de dados de vendas.

lvgalvao/azure_backup_project

O Azure Backup Project automatiza backups regulares de bancos de dados SQL Server na Azure, utilizando Apache Airflow e Python.

lvgalvao/CryptoMonitor

An automated data project showcasing real-time monitoring and visualization of cryptocurrency exchange data. Utilizes ETL processes, scheduled tasks, data testing, and dynamic dashboards for comprehensive data insight

lvgalvao/DataPipelineKit

é um conjunto de ferramentas e utilidades para engenheiros de dados, oferecendo suporte integrado para Pandas, PySpark, Polars e DuckDB. Ele visa simplificar e acelerar tarefas comuns em engenharia de dados, desde manipulação de dados até pipelines ETL

lvgalvao/diagrams

diagrams getting started

lvgalvao/diagrams-quick-started

lvgalvao/docker-python-env

docker-python-env

lvgalvao/duckdb_data_lake

lvgalvao/Excel2Streamlit

Transforme suas análises do Excel em dashboards interativos com Streamlit e Python. Este repositório oferece um guia prático para elevá-las a um novo patamar de visualização e interatividade.

lvgalvao/ExcelComparator

ExcelComparator é um projeto em Python que utiliza a biblioteca Pandas para comparar e analisar duas planilhas do Excel (ou CSVs). O programa permite que os usuários identifiquem as diferenças e semelhanças entre as colunas, verificando se as colunas estão presentes em ambos os arquivos e se estão na mesma ordem.

lvgalvao/Exploratory-Data-Analysis-

Exploratory Data Analysis using PySpark

lvgalvao/fastapi-social-media-api

lvgalvao/FastApi-Social-Media-App

A FastAPI and PostgreSQL-based CRUD application for managing social media posts, featuring Docker and SQLAlchemy integration.

lvgalvao/FastAPI_ML_Docker

lvgalvao/ItertoolsExplained

This repository is dedicated to demonstrating the powerful capabilities of Python's itertools library.

lvgalvao/pandas-observlog-refactor

lvgalvao/PandasToTheMoon

lvgalvao/PipelineRefactor

lvgalvao/ProductPriceComparator

lvgalvao/projeto_vendas

lvgalvao/Quiz-Generator-App

Quiz Generation with ChatGPT, Langchain and Streamlit

lvgalvao/repeated-string

Solving the "repeated-string" problem using bard and chatGPT

lvgalvao/Sales-Data-Analysis-With-PySpark

The "Sales Data Analysis With PySpark" project will be set up to explore the fundamentals of PySpark's DataFrame API using a sales dataset

lvgalvao/UrubuPix-Analytics

Plataforma de análise para o Urubu do Pix, empregando DuckDB para gerar insights valiosos sobre investimentos e transações dos usuários.

lvgalvao/WebSockets