/data-engineer-roadmap

Roadmap para me tornar uma engenheira de dados. [Roadmap to becoming a data engineer].

Project icon

Roadmap de Engenharia de Dados

Este repositório foi desenvolvido como um compilado de todas as skills e conteúdos que julguei interessantes de serem consumidas para aprimorar meu conhecimento em engenharia de dados. Todo conteúdo que está aqui foi formado de acordo com minha vivência nessa área, pode ser acrescentado da visão de outras pessoas que queiram colaborar. Com esse conteúdo viso me organizar, me desafiar e ajudar outras pessoas também.

Sugestões são muito bem vindas!

Tabela de Conteúdo


Links e Dicas Úteis

Primeiro de tudo é importante se entender o que um engenheiro de dados faz, onde ele se encaixa no mercado e quais necessidades ele supre. Portanto eu recomendo os seguintes conteúdos antes de qualquer interação com o restante:

O que é um engenheiro de dados

Pode-se usar a guia anônima para ler os artigos que pedem premium no medium (quando o link acima não funcionar). Infelizmente não existem tantos conteúdos em português sobre isso ainda, portanto é possível utilizar o chrome e a ferramenta de tradução do google para ler os artigos caso você não entenda inglês. Para os vídeos pode-se usar a ferramenta de legendas geradas.

É importante tentar criar projetinhos para aplicar o que você está estudando, pois acredite: existe um abismo entre a teoria e a prática, principalmente se tratando de dados :) Aproveite para exercitar sua capacidade de lidar com vários cenários de erro e criar ações para contorná-los.


Skills

O básico para uso geral:

Skill Links
Git (versionamento) https://towardsdatascience.com/introduction-to-git-for-data-science-ca5ffd1cebbe
https://youtu.be/DqTITcMq68k
https://youtu.be/UBAX-13g8OM
Shell script/bash https://www.sqlservercentral.com/articles/bash-for-etl-pre-processing
https://www.youtube.com/playlist?list=PLUJBQEDDLNcmHrKy_1sjd98Md-bfmtQOL
SSH https://medium.com/free-code-camp/a-top-down-introduction-to-ssh-965f4fadd32e
https://youtu.be/HOQlfJScWH4
HTTP/HTTPS https://medium.com/swlh/how-http-and-https-work-4c689e1ea369
https://medium.com/@sahelasumi/http-status-codes-31644d99fb1
API https://towardsdatascience.com/what-is-an-api-and-how-does-it-work-1dccd7a8219e
SQL e NoSQL https://youtu.be/aure5d3B88g
Docker https://medium.com/data-hackers/docker-do-zero-a-marinheiro-adf4d9087f76
https://youtu.be/RE31GWJGkwA
Kubernetes https://medium.com/the-programmer/kubernetes-fundamentals-for-absolute-beginners-architecture-components-1f7cda8ea536
https://youtu.be/pV0nkr61XP8
IaC/IaaS https://medium.com/@kehinde_/infrastructure-as-code-what-is-it-all-about-c8ae2b8deddf
https://medium.com/tech-business-talk/the-easiest-explanation-of-iaas-paas-saas-the-3-cloud-service-models-432ac36ba6e1
https://youtu.be/Yp-7Hn_O--g?t=753
Testes https://medium.com/@paulociecomp/uma-breve-explica%C3%A7%C3%A3o-sobre-testes-automatizados-5f6060cfbad4
https://medium.com/@shivambigdata/the-etl-testing-process-and-a-useful-checklist-8aab6f777b19
https://servian.dev/why-data-engineering-needs-automated-testing-a37a0844d7db

Habilidades mais específicas:

Grupo Skills Links
Conceitos OLTP e OLAP
Business Inteligence
Data Modeling
Data Warehouse
Data Lake
Data Mesh
ETL e ELT
OLTP e OLAP
Business Inteligence
Data Modeling
Data Warehouse
Data Lake
Data Mesh
ETL e ELT
Linguagens de Programação Python
R
Scala
Python
R
Scala
Banco de Dados RDBMS
NoSQL Databases
RDBMS
RDBMS - Postgres
RDBMS - MySQL
NoSQL Databases
NoSQL Datbases - MongoDB
NoSQL Databases - Hadoop
Pipelines/ELT/ETL Orquestradores
Processamento de dados
Orquestrador - Airflow
Orquestrador - Prefect
Processamento: Batch vs Stream
Processamento Bacth - Exemplo
Processamento Stream - Exemplo
Cloud AWS
Azure
GCP
AWS - Fundamentos
AWS - S3
AWS - RDS
AWS - Athena
AWS - ECR/ECS
AWS - Lambda
AWS - StepFunction
AWS - IAM
AWS - EC2
AWS - EMR

Artigos


Livros para ler


Cursos para fazer

Alguns dos cursos que avaliei como benéficos para gastar meu $$$


Contribuição

  • Pull Request
  • Discussões em Issues
  • Divulgação
  • Demais Twitter URL

Meu Resultado

Eventualmente, conforme eu for aprendendo e aplicando tudo que reuni aqui pretendo listar todos os repositórios e conteúdo que eu gerar a partir disso.