Alvo: http://www.portaltransparencia.gov.br/download-de-dados/
-
Criar virtualenv
-
Criar projeto scrapy para o portal
-
Desenvolver: item; item_loader; pipeline p/ persistir no dynamodb;
-
Extrair todas as planilhas dos dados abertos
-
Após isso, implementar testes unitários para funções mais simples
-
Avaliar cobertura do código
-
Gerenciamento de logs
-
Planilhas no S3