/fiap-grupoL-fase3-aws-ingest-data

Primary LanguageHCL

Desafio FIAP Grupo L

Curso: MBA - Engenharia de Dados

Grupo L:

  • Pedro Henrique Vendrame;
  • Eduardo dos Santos Rodrigues;
  • Gabriel Vinicius Santos de Oliveira

Utilizar o provedor AWS para criar um fluxo ETL (Extract, Trasform and Load) de engenharia de dados, sendo um processo manual com interação humana para executar os scripts e um processo automático orientado a eventos.

Neste Git estão armazenados os scripts python, arquivos .tf do terraform e arquivos.yml do serverless utilizados para criar o processo ETL Manual e Automático!

Arquitetura Manual

image

Arquitetura Automático

image

     ___        ______     ____ _                 _  ___  
    / \ \      / / ___|   / ___| | ___  _   _  __| |/ _ \ 
   / _ \ \ /\ / /\___ \  | |   | |/ _ \| | | |/ _` | (_) |
  / ___ \ V  V /  ___) | | |___| | (_) | |_| | (_| |\__, |
 /_/   \_\_/\_/  |____/   \____|_|\___/ \__,_|\__,_|  /_/

Código desenvolvido no AWS Cloud 9