BIG DATA ECOSYSTEM - MODERN DATA STACK COM DOCKER
Ambiente para estudo dos principais framework de um ambiente moderno de dados utilizando docker.
SOFTWARES NECESSÁRIOS
Para a criação e uso do ambiente vamos utilizar o git e o Docker
- Instalação do Docker Desktop no Windows Docker Desktop ou o docker no Linux
- Instalação do git
SETUP
- OBS: A primeira vez que o ambiente for iniciado, todas as imagens serão baixadas para a maquina local.
- Para executar todo o ambiente, o servidor/host deve possuir pelo menos 16GB de memória.
- É indicado subir apenas os containers para o worload que será utilizado/testado.
INICIANDO O AMBIENTE*
Em um terminal/DOS/PowerShell, realizar o clone do projeto no github.
git clone https://github.com/fabiogjardim/mds.git
Ao realizar o clone do repositório, o diretória mds será criado em sua máquina local.
EXEMPLOS DE COMO INICIR O AMBIENTE
No Windows abrir PowerShell, do Linux um terminal e acessar o diretório mds
Para iniciar um ambiente com Data Lake e Spark
docker-compose up -d minio spark-worker
Para iniciar um ambiente com Ingestão de dados com CDC no Postgres utilizando Kafka
docker-compose up -d minio kafka-broker kafka-connect nifi postgres
SOLUCIONANDO PROBLEMAS
Parar verificar os containers em execução
docker ps
Parar um containers
docker stop [nome do container]
Parar todos containers
docker stop $(docker ps -a -q)
Remover um container
docker rm [nome do container]
Remover todos containers
docker rm $(docker ps -a -q)
Dados do containers
docker container inspect [nome do container]
Iniciar um container específico
docker-compose up -d [nome do container]
Iniciar todos os containers (CUIDADO, é muito pesado)
docker-compose up -d
Acessar log do container
docker container logs [nome do container]
Acesso WebUI dos Frameworks
- Minio http://localhost:9051
- Jupyter Spark http://localhost:8889
- Pinot http://localhost:9000
- Nifi http://localhost:9090
- Kafka Control Center http://localhost:9021
- Airflow http://localhost:8180
- Elastic http://localhost:9200
- Metabase http://localhost:3000
- Kibana http://localhost:5601
- Superset http://localhost:8088
- Trino http://localhost:8080
- CloudBeaver http://localhost:8010
Usuários e senhas
Superset
Usuário: admin
Senha: admin
Metabase
Usuário: admin@mds.com
Senha: admin
Postgres
Usuário: admin
Senha: admin
Minio
Usuário: admin
Senha: minioadmin
Pinot
Usuário: admin
Senha: admin
Kibana
Usuário: admin
Senha: admin
CloudBeaver
Usuário: admin
Senha: admin