/Engenharia-de-Dados

Primary LanguagePython

Bootcamp de Engenharia de Dados

Setup AWS

  1. Crie uma conta na AWS (Conta root);
  2. Crie uma conta com permissão de administrador para ser a conta usada para projeto;
  3. Crie um servidor PostgreSQL na versão 13 usando o Amazon RDS;
  4. Clique no Security Groupo e libere o acesso a porta 5432 vindo do seu ip público;

Setup Ingestion to RDS

  1. Edite o arquivo .env com as informções do Amazon RDS;
  2. Instale todas as bibliotecas necessárias para rodar a aplicação de ingestão com o comando:
pip install -r requirements.txt
  1. Execute a aplicação app-ingestion-sql
  2. Conecte no banco de dados usando algum cliente de banco de dados, por exemplo o dbeaver e verifique se as tabelas foram criadas.

Setup Ingestion to Data Lake

  1. Edite o arquivo .env informando as credencias de chave de acesso, por exemplo:
AWS_ACCESS_KEY_ID=AKIA4WFGE4SB25sdfadf
AWS_SECRET_ACCESS_KEY=mwXXs8NjLwI83fnxrZ7rm4zsQHEftY3adfafd
  1. Crie um bucket na aws, no meu caso criei raw-bootcampde-872226808963
  2. Edit o arquivo .env informando o nome do bucket criado na variável BUCKET_NAME
  3. Execute a aplicação app-mobile-customers.py
  4. Verifique se os arquivos .json estão sendo inseridos no bucket.

Importante:

  • Interrompa o banco de dados RDS.