/iac_cloud_data_eng

Repository to create and maintain examples to deploy infrastructure as a code in cloud.

Primary LanguageHCL

Objetivo

Seguindo as instruções desse repositório você poderá subir um cluster EMR na sua nuvem AWS. O Amazon EMR é a plataforma de big data em nuvem líder do setor para processar grandes quantidades de dados usando ferramentas de código aberto, como Apache Spark, Apache Hive, Apache HBase, Apache Flink, Apache Hudi e Presto.

Vamos usar terraform para seja possível todos subirem a mesma plataforma com a mesma configuração, e depois destruir a infraestrutura.

Terraform

O Terraform é uma ferramenta open source para gerenciamento e provisionamento da infraestrutura como código (IaC). Desenvolvida e mantido pela HashiCorp, a ferramenta utiliza uma linguagem simples e declarativa, permitindo desta forma o provisionamento desde uma simples VM até uma infra completa, passando por recursos de rede, segurança, banco de dados, balanceadores de carga e outros.

Nas palavras da própria HashiCorp:

O Terraform1 é usado para criar, gerenciar e atualizar recursos de infraestrutura, como máquinas físicas, VMs, comutadores de rede, contêineres e muito mais. Quase qualquer tipo de infraestrutura pode ser representado como um recurso no Terraform.

Pré requisitos

  • Ter uma conta na AWS. Se não tiver crie uma conta.

  • Criar um usuário seu access key ID e a chave de acesso secreta com acesso AdministratorAccess. Salve sua chave em lugar seguro.

  • Instalar terraform:

    brew install terraform

    Verificar a instalação:

    terraform version

    Resultado esperado:

    Terraform v0.14.8 (ou versão mais recente)

  • Suas credenciais AWS configuradas localmente.

    Com sua conta criada e o CLI instalado, configure o AWS CLI: aws configure

    Siga os prompts para inserir sua AWS Access Key ID e Secret Access Key, que você encontrará nesta página.

    O processo de configuração cria um arquivo em ~/.aws/credentials no MacOS e Linux %UserProfile%\.Aws\credentials no Windows, onde suas credenciais são armazenadas.

  • Crie um par de chaves na AWS EC2 Console e baixe para acesso via ssh ao cluster.

    Acesse ao link. Vá em pares de chaves.

    alt text

    Criar pares de chaves. Coloque um nome e após isso clique em criar. Automaticamente será realizado o download do par de chaves, guarde em um local seguro.

    alt text Após isso siga as etapas para criação do cluster via terraform.

Para subir seu cluster siga os passo a passo nesse link

Footnotes

  1. Site oficial da ferramenta: https://www.terraform.io. Aqui você poder ver alguns vídeos sobre como começar na AWS com Terraform: ↩