/Bootcamp-Engenharia-de-Dados

Bootcamp Engenharia de Dados realizado pela IGTI

Primary LanguageJupyter Notebook

GitHub repo size

Certificado: Acesse aqui

Duração: 2 meses, 148 horas

bootcamp: https://www.igti.com.br/custom/engenharia-de-dados/

Este bootcamp da IGTI, tem como objetivo abordar de forma intensiva conceitos e práticas de engenharia de dados, habilitando o aluno para atuar profissionalmente na área.
Assim possibiliou que pudesse estudar através de desafios semanais sucessivos que evoluem em complexidade e abrangência.

Conteúdo do bootcamp

Nos links abaixo de cada módulo disponibilizo materiais de trabalhos práticos e desafios estudados no bootcamp:

ABERTURA MÓDULO 1 MÓDULO 2 MÓDULO 3 MÓDULO 4 DESAFIO FINAL
4h 32h 32h 32h 32h 12h
Aquecimento e Regras do Jogo Fundamentos Armazenamento de dados Solução de dados utilizando Ecossistema Hadoop Infraestrutura de dados e arquitetura escalável Desafio Final
Visão geral da dinâmica do curso, conteúdos e ferramentas utilizadas. Conceitos fundamentais: Dados, fontes de dados, Big Data, tipos de dados. Visão geral do pipeline de ciência de dados e soluções (plataformas, tecnologias) para extração, ingestão, transformação, armazenamento e análise de dados. Data warehouse e data lake: modelo, projeto, implementação, tecnologias envolvidas. Visão geral de SGBDs SQL(relacionais), NoSQL, NewSQL. Sistemas de arquivo, armazenamento de dados em nuvem e sistemas de arquivos. Introdução ao ecossistema Hadoop Modelagem de dados com Hadoop Ingestão de dados com Hadoop (Sqoop e Flume) e/ou Kafka) Armazenamento de dados com Hadoop (HDFS e HBase) Processamento de dados com Hadoop (Spark) Serviços de conectividade, rede e segurança na Azure, AWS e GCP Exemplos de containers para Ciência de Dados e Machine Learnig Virtualização, containers e serviços de armazenamento Recursos para escalabilidade, elasticidade, alta disponibilidade e processamento distribuído. Soluções para processamento de dados em larga escala Modelos de serviços em nuvem Fundamentos de arquitetura. Conclusão da aplicação final.

Trilha do bootcamp