Desenvolvimento back-end de um serviço de ETL na linguagem Python
O propósito desse serviço é ler o arquivo base_teste.txt
e realizar validações dos dados contidos nas colunas de CPF e CNPJ. Após o tratamento dos dados, eles são armazenados no banco de dados PostgreSQL usando Docker.
- Instale o Docker Desktop em sua máquina (caso ainda não tenha):
- Clonar o repositório e colar no terminal o seguinte comando:
git clone git@github.com:anaelisaq/etl-service.git
- Executar o Docker Compose pelo terminal:
docker-compose up -d
- Em seguida, executar o comando no terminal para inicializr o serviço:
docker-compose run app
A partir desse serviço, será criada uma tabela chamada dbneoway
e está armazenada de modo público no PostgreSQL, seguindo a estrutura relacional:
Column name | Data Type |
---|---|
CPF | VARCHAR |
PRIVATE | INTEGER |
INCOMPLETO | INTEGER |
DATA_DA_ULTIMA_COMPRA | DATE |
TICKET_MEDIO | FLOAT |
TICKET_DA_ULTIMA_COMPRA | FLOAT |
LOJA_MAIS_FREQUENTE | VARCHAR |
LOJA_DA_ULTIMA_COMPRA | VARCHAR |
CPF_VALIDO | VARCHAR |
CNPJ_LOJA_MAIS_FREQUENTE_VALIDO | VARCHAR |
CNPJ_LOJA_DA_ULTIMA_COMPRA_VALIDO | VARCHAR |