<<<<<<< HEAD
Este repositório contém scripts e dados relacionados ao processamento de informações de empresas no Brasil, utilizando o banco de dados de Cadastro Nacional da Pessoa Jurídica (CNPJ).
O objetivo deste projeto é facilitar o processamento e análise de dados de empresas brasileiras a partir dos dados fornecidos pela Receita Federal. Utilizamos o banco de dados DuckDB para manipulação e consultas eficientes.
A estrutura do projeto é organizada da seguinte forma:
├── src
│ ├── data
│ │ ├── extract
│ │ │ ├── Socios
│ │ │ │ └── arquivo
│ │ │ ├── Estabelecimentos
│ │ │ │ └── arquivo
│ │ │ └── ...
│ ├── raw
│ │ └── ingestion.py
│ ├── silver
│ │ └── silver.py
│ ├── utils
│ │ └── read_data_json.py
│ ├── main.py
│ └── columns_layout_cnpj_metadados.json
└── README.md
src/data/extract/
: Contém os arquivos CSV extraídos.src/raw/ingestion.py
: Script para ingestão dos dados brutos.src/silver/silver.py
: Script para processamento intermediário dos dados.src/utils/read_data_json.py
: Script utilitário para leitura do arquivo JSON de metadados.src/main.py
: Script principal para processamento dos dados.columns_layout_cnpj_metadados.json
: Arquivo JSON contendo a estrutura das tabelas e colunas dos dados do CNPJ.
Para rodar este projeto localmente, siga os passos abaixo:
-
Clone o repositório:
git clone https://github.com/s2breninn/dadosempresas-brasil-cnpj.git cd dadosempresas-brasil-cnpj
-
Instale o Poetry, se ainda não o tiver instalado:
curl -sSL https://install.python-poetry.org | python3 -
-
Instale as dependências do projeto usando o Poetry:
poetry install
-
Ative o ambiente virtual do Poetry:
poetry shell
Execute o script de ingestão para carregar os dados brutos:
task ingestion
Execute o script para adicionar, organizar e nomear as colunas dos arquivos instalados:
task silver
=======
Este projeto visa construir um Datahouse para ingestão de dados de empresas com CNPJ a partir da base de dados do governo federal do Brasil.
src
: Código fonte para processamento e ingestão de dados.utils
: Funções auxiliares e utilitários.layout-cnpj-metadados.pdf
: Documentação dos metadados dos arquivos CNPJ..gitignore
: Arquivos e diretórios ignorados pelo Git.poetry.lock
epyproject.toml
: Configurações do Poetry para gerenciamento de dependências.
- Python: Linguagem de programação principal.
- DuckDB: Banco de dados analítico embutido.
- Requests: Biblioteca para fazer requisições HTTP.
- BeautifulSoup: Biblioteca para parsing de HTML.
- Poetry: Ferramenta para gerenciamento de dependências e packaging.
6ff937c3ca00f7d55696e2b657c99a01709f756b