Este repositório contém materiais e recursos para o nosso curso de engenharia de dados de forma gratuita. Este curso abrange os conceitos e técnicas essenciais da engenharia de dados. Seja você iniciante ou experiente, adquira as habilidades necessárias para ter sucesso na indústria. Aprenda sobre bancos de dados, sistemas operacionais, processamento e armazenamento de dados, visualização, mineração, governança e segurança de dados, e tecnologias emergentes.
Nota: os conteúdos aqui serão usados para gravação e produção de outros materiais, porém esse repositório continuará aberto e gratuito.
Links úteis:
- https://dataengineer.help/
- Quer ajudar a patrocinar esse projeto e ainda receber conteúdos únicos? Assine nossa turma https://buy.stripe.com/eVa15L0IUcD25jy146
- 01.Introdução à Engenharia de Dados
- 02.Sistemas operacionais e Virtualização
- 03.Virtualização e Contêineres
- 04.Modelagem de dados
- 05.Bancos de dados relacionais
- 06.Prática: SQL
- 07.Arquitetura de dados
- 09.Prática: Coletando dados da Internet
- 10.Airflow e Orquestração de Dados
- 11.Armazenamento de dados
- 12.Prática: Visualização de dados
- 13.Mineração de dados
Nesta seção, você encontrará uma introdução à engenharia de dados, incluindo definições, objetivos e papéis comuns na área.
- O que são dados?
- O que é Engenharia de Dados?
- Por que a Engenharia de Dados é importante?
- Áreas de atuação da Engenharia de Dados
- Ferramentas e tecnologias da Engenharia de Dados
- Tendências e desafios da Engenharia de Dados
- Conceitos e terminologias
- Tipos de dados
- Dados estruturados
- Dados não estruturados
- Dados semi-estruturados
Acessar Introdução à Engenharia de Dados
- Principais sistemas operacionais
- Arquitetura de sistemas operacionais
- Windows
- Linux e Unix
- Virtualização e Contêineres
- Prática: Instalando WSL no Windows
- Prática: Comandos básicos de Linux
- Comandos de navegação
- Comandos de manipulação de arquivos
- Comandos de manipulação de diretórios
- Comandos de manipulação de texto
- Comandos de manipulação de processos
- Comandos de manipulação de usuários
Acessar Sistemas operacionais e Virtualização
- Virtualização de servidores
- Contêineres
- Docker
- Docker Hub
- Dockerfile
- Docker Compose
Acessar Virtualização e Contêineres
- Modelagem conceitual, lógica e física
- Tipos de modelos de dados (relacional, dimensional, hierárquico, etc.)
- Técnicas de normalização e desnormalização
- Principais bancos de dados relacionais
- Modelo relacional
- Álgebra relacional
- SQL
Acessar Bancos de dados relacionais
- Comandos básicos de SQL
- Comandos avançados de SQL
- Funções de agregação
- Subqueries
- Joins
- Stored procedures
- Arquitetura de dados tradicional
- Arquitetura de dados moderna (data lakes, data warehouses, etc.)
- Práticas recomendadas para a arquitetura de dados
- Extração, transformação e carga (ETL)
- Processamento em tempo real e em lote
- Técnicas de processamento distribuído
Acessar Processamento de dados
- WebScraping
- APIs
- Web Crawlers
Acessar Prática: Coletando dados da Internet
- Conceitos básicos de orquestração de dados
- Apache Airflow
- Arquitetura do Airflow
- Componentes do Airflow
- Prática: Criando um pipeline de dados com Airflow
Acessar Airflow e Orquestração de Dados
- Bancos de dados relacionais
- Bancos de dados NoSQL
- Armazenamento em nuvem
Acessar Armazenamento de dados
- Ferramentas de visualização de dados
- Técnicas de visualização de dados
- Design de dashboards e relatórios
Acessar Prática: Visualização de dados
- Principais técnicas de mineração de dados
- Aplicações da mineração de dados
- Ética e privacidade na mineração de dados