Repositório para compartilhamento de código e conhecimento de engenharia de dados na AWS. Aqui serão compartilhados os exercícios das aulas, e também é o repositório aonde será desenvolvido o projeto prático.
O material dos encontros ficará disponível no diretório /encontros. Lembrando que a ideia é a primeira parte da aula fazermos exercícios, e a segunda parte da aula fazermos o projeto.
O projeto se encontra dentro do diretório /projeto.
Para mais informações sobre o projeto, leia o arquivo README.md do diretório de projeto.
A arquitetura proposta de projeto para a turma de agosto/2023 é a seguinte:
Link para a arquitetura no Excallidraw. Dica: Ao usar essa extension você consegue editar a arquitetura usando o próprio VSCode.
Para o primeiro encontro, fundamentos de python, vamos trabalhar na extração de dados da web utilizando um script python no serviço AWS Lambda.
Com relação a qual parte do projeto será desenvolvida em qual encontro, segue abaixo um GIF explicativo:
Gif criada utilizando a plataforma online ezgif. Delay Time 2.5s.
- Fundamentals of Data Engineering (by Joe Reis, Matt Housley): Literatura base recomendada em engenharia de dados.
- AWS Analytics Lens (FREE!): Coleção de boas práticas da AWS para construção de arquiteturas analíticas.