/hadoop-hbase-examples

Exemplos de jobs e queries

Primary LanguageShell

Sobre o Projeto

Este projeto realiza um overview de Big Data e NoSQL contemplando instalação, configuração e exemplos praticos de Hadoop, HBase, Mongo e Redis.

Intro

Todos os exemplos são executados em um ambiente Linux. Portanto, se você possui experiência com Linux, siga os manuais de instalação e configuração abaixo e prepare o ambiente na máquina que desejar.

Caso contrário, siga a instalação no tópico "Ambiente".

Manuais de instalação e configuração:

  1. MongoDB
  2. Redis
  3. Hadoop e Hbase

Ambiente

Instalação do Sistema Operacional

Em nossas aulas vamos utilizar o Ubuntu Server 14.04 em uma máquina virtual.

Opção 1: Máquina virtual já criada...

Uma VM com Ubuntu Desktop instalado e com todos os pacotes baixados! =] Basta baixa-la e importa-la utilizando Virtual Box.

Usuário e senha da VM:

  • Usuário: jonsnow
  • Senha: stark

Link para a VM:

https://drive.google.com/open?id=0B6BAj1gwpQqKSFZ6aHNpLXpqTkE

Opção 2: Criando uma máquina virtual no VirtualBox

Para isso, basta seguir os passos:

  1. Baixar e instalar o Virtual Box.

  2. Baixar a iso do Ubuntu Desktop 14.04.1.

  3. Abrir o Virtual Box.

  4. Clicar na opção "Novo". Passo1

  5. Selecionar o sistema operacional Linux Ubuntu. Passo2

  6. Nomear a VM e selecionar a quantidade de HD (mínimo de 16GB). Passo3

  7. Entrar no menu "Settings" -> "System" -> "Motherboard" e selecionar a quantidade de memoria RAM com mínimo de 2048MB (2GB). Passo5

  8. Entrar no menu "Settings" -> "System" -> "Processor" e selecionar a quantidade de cores de CPU com mínimo de 4 cores. Passo6

  9. Entrar no menu "Settings" -> "Display" -> "Vídeo" e selecionar a quantidade de memoria de 128GB RAM e opcao "Enable 3D Aceleration". Passo7

  10. Entrar no menu "Settings" -> "General" -> "Advanced" e habilitar copy e past entre a máquina virtual e a máquina host. Passo8

  11. Startar a sua VM.

  12. Selecionar a ISO que você realizou download para iniciarmos a instalação do Ubuntu Server 14.04 (isso ocorrerá apenas na primeira inicialização). Passo4

  13. Inicie a instalação do Ubuntu Desktop na sua VM selecionando a língua de sua preferência.

  14. Escolha a região e localização São Paulo / Brasil.

  15. Durante a instalação, você deve escolher o padrão do seu teclado, o nome do usuário do SO (sugestão: hadoop) e a senha do usuário (sugestão: 123456).

  16. Demais questionamentos, basta escolher a opção "padrão" e "next".

  17. Após finalizar a instalação do SO, abra o terminal e instala o virtualbox-guest para desfrutar sua VM em full screen:

sudo apt-get update
sudo apt-get install virtualbox-guest-dkms virtualbox-guest-utils virtualbox-guest-x11

Opção 3: Vagrant

Caso você seja um desenvolvedor experiente e conheça vagrant, basta utilizar nosso VagrantFile que esta na raiz do projeto! =]

Caso contratário, por favor, utilize a opção 1.