Fazer os scripts Python processarem os últimos dados disponíveis automaticamente
Opened this issue · 6 comments
Descrição
Fazer os scripts Python lerem o último PDF e processarem o último JSON disponível de forma automática
Aqui eu pensei se poderiamos unir a issue #14 .
Se não seria interessante transformar tanto o download_data.py quanto a extract_data.py em classe, e assim com um main.py fazer o fluxo de coletar a informação e tratar.
Acho que pode ser uma boa, temos que pensar melhor nesse caso também pq vamos ter que começar a processar todos os arquivos em busca de inconsistências, e também para buscar o histórico de algumas métricas.
Pensei em criar uma nova issue para que fosse guardado num sql. Assim podemos ate escalar para um serviço na nuvem ou algo assim.
@emoryr Não sei se vale a pena subir num BD relacional, talvez seja trabalho a toa, a gente já tem escalabilidade garantida utilizando o GitHub + um CDN se for necessário
Fora os custos atrelados a subir um RDS da vida pra rodar o BD
A PR anexada foi fechada, mas o problema principal da discussão ainda continua, então estou reabrindo