EDW CENIPA

Modelo BI open source para construção de um data warehouse com dados abertos do CENIPA

EDW CENIPA é um projeto open source, criado para prover análises dinâmicas de ocorrências aeronáuticas, ocorridas na aviação civil brasileira. O projeto utiliza técnicas e ferramentas de BI, explorando tecnologias inovadoras e de baixo custo. Historicamente, plataformas de Business Intelligence são caras e inviáveis para pequenos projetos. Esses projetos exigem qualificação especializada e custos altos de desenvolvimento. Este trabalho tem a pretensão de quebrar um pouco esta barreira. O que não significa pouca dedicação, empenho e esforço.

Todas as análises têm como base os dados abertos fornecidos pelo CENIPA, com histórico de ocorrências dos últimos 10 anos ( http://dados.gov.br/dataset/ocorrencias-aeronauticas-da-aviacao-civil-brasileira). Os gráficos foram inspirados no relatório disponibilizado no link http://www.cenipa.aer.mil.br/cenipa/index.php/estatisticas/estatisticas/panorama.

Seguem alguns serviços, ferramentas e plataformas que foram utilizados para construir e testar este ambiente.

Amazon Web Services - https://aws.amazon.com/ - Serviços de infraestrutura de nuvem
Sistema Operacional Linux - CentOS 6 / Ubuntu 14
Docker - https://www.docker.com/ - Plataforma aberta para construir e rodar aplicações distribuídas.
Pentaho - http://www.pentaho.com/ e http://community.pentaho.com/ - Plataforma open source de Big Data, Data Integration e Business Analytics

Screenshot

Visão geral das Ocorrências

Instalação

Requisitos

Sistema Operacional com 2GB de RAM e 5GB de espaço em disco
Instalar Docker v1.7.1

CentOS: https://docs.docker.com/installation/centos/

Ubuntu: https://docs.docker.com/installation/ubuntulinux/

Mac : https://docs.docker.com/installation/mac/
Instalar Docker Compose v1.4.2 - https://docs.docker.com/compose/install/

curl -L https://github.com/docker/compose/releases/download/1.4.2/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

Instalar o GIT

https://git-scm.com/book/en/v2/Getting-Started-Installing-Git

Instalar a partir do repositório do projeto

git clone https://github.com/wmarinho/edw_cenipa.git
cd edw_cenipa
sh install.sh

Instalação rápida no CentOS

yum update -y
yum install -y docker
service docker start
usermod -a -G docker ec2-user
yum install -y git

pip install -U docker-compose
PATH=$PATH:/usr/local/bin
wget -O - https://raw.githubusercontent.com/wmarinho/edw_cenipa/master/easy_install | sh

Instalação rápida do Docker no Ubuntu Server 14.04

sudo wget https://raw.githubusercontent.com/it4biz/ubuntu-docker-installer/master/ubuntu-docker-installer.sh
sudo sh ubuntu-docker-installer.sh

Verificar execução dos containers

$ docker ps

CONTAINER ID        IMAGE                          COMMAND                CREATED             STATUS              PORTS                    NAMES
29bd63632c21        image_cenipa/biserver:latest   "sh scripts/run.sh"    2 hours ago         Up 2 hours          0.0.0.0:80->8080/tcp     edwcenipa_biserver_1
53b84cbc80e4        image_cenipa/pdi:latest        "./run.sh"             2 hours ago         Up 2 hours          8181/tcp                 edwcenipa_pdi_1
7787dcfe49df        wmarinho/postgresql:9.3        "/usr/lib/postgresql   2 hours ago         Up 2 hours          0.0.0.0:5432->5432/tcp   edwcenipa_db_1

O projeto possui 3 containers especificados no arquivo docker-compose.yml:

edwcenipa_db_1 - Container com Banco de Dados PostgreSQL
edwcenipa_pdi_1 - Container com instlação do Pentaho Data Integrator (Kettle) para download e carga dados para o DW
edwcenipa_biserver_1 - Container com instalação do Pentaho Business Analytics (BI Server)

Verificar logs do PDI e do BI Server

docker logs -f edwcenipa_pdi_1
docker logs -f edwcenipa_biserver_1

A instalação pode levar mais de 30 minutos, dependo da configuração do servidor e da largura de banda da Internet. A instalação completa é de aproximadamente 3GB.

Com o comando abaixo e as devidas credenciais de acesso, é possível subir o ambiente na Amazon em menos de 10 minutos. LEMBRE-SE de substituir as variáveis antes de executar o comando. Essa é uma configuração adequada para este projeto, a um custo aproximado de US$ 80,00/mês (http://calculator.s3.amazonaws.com/index.html)

aws ec2 run-instances --image-id ami-e3106686 --instance-type c4.large --subnet-id ${SUBNET_ID} --security-group-ids ${SGROUP_IDS}  --key-name ${KEY_NAME} --associate-public-ip-address --user-data "https://raw.githubusercontent.com/wmarinho/edw_cenipa/master/aws/user-data.sh" --count 1

Para rodar o comando acima, é necessário instalar o AWS CLI (https://aws.amazon.com/pt/cli/) e configurar as credenciais de sua conta na Amazon (aws configure).

Acessar Dashboard

Caso não seja uma instalação local, altere o endereço abaixo com o IP ou domínio do servidor onde foi feita a instalação.

http://localhost/pentaho/plugin/cenipa/api/ocorrencias

Senha: password

IT4DGroup/edw_cenipa