| Introdução à Engenharia de Dados |
Script que faz a captura de todos os jogos da Lotofácil e faz uma análise de dados em relação aos números que aparecem com mais ou menos frequência. |
| Fundamentos de Ingestão de Dados |
Exemplos de ingestão de dados via API, tratamento de exceptions e logs. |
| SQL (CTE's, Window Functions), Docker e Metabase |
Exemplos de criação de um banco de dados com Docker, scripts SQL de como utilizar CTEs e Window Functions e como criar e fazer uma conexão da base de dados com o Metabase |
| Capturando dados de uma API: Ingestão de Dados com Scripts Escaláveis |
Projeto de ingestão de dados da API do mercado bitcoin que funciona de forma escalável, com checkpoints, seguindo princípios SOLID, orientado a objetos e com cobertura de testes. |
| Capturando dados com crawlers (Selenium) |
Exemplos de como capturar dados em uma página web utilizando Selenium. |
| Jenkins com Docker |
Exemplo de como criar um servidor Jenkins com o Docker para automatizar a execução de tarefas. |
| Simulando Streaming de Dados com Kinesis Firehose |
Exemplo de projeto que faz a geração e ingestão de dados em tempo real para o Kinesis Firehose, salvando os arquivos em um bucket do S3. |