PySpark Study

Repositório para estudos e laboratório usando PySpark!

Pré-requisitos

  • Docker
  • VSCode
  • Extensão DevContainer instalado no seu VSCode

Como executar

1 - "F1" + "Reopen in DevContainer"

2 - (Opcional) Pule instalação de outras dependencias ou configuração

3 - Execute o download-data.sh

4 - Agora execute arquivo com spark-submit main.py