Corrigir script de captura de óbitos registrados em cartório
Closed this issue · 7 comments
Depois da alteração do site do Registro Civil em 12/07, o script de captura obitos_spider.py quebrou. Fiz uma atualização ontem corrigindo (05f965a), mas ele está baixando dados incompletos. Veja análise da diferença nos números.
Provavelmente teremos que fazer novas requisições, para também capturar os dados de óbitos por causas cardíacas. Se for isso, temos que fazer requisições baixar também para chart = chartCardiac4.
Até o dia 12/07 estava atualizando corretamente.
A coluna "new_deaths_covid19" da tabela obito_cartorio tinha 66080 óbitos computados.
Na última atualizacao, desapareceram diversos dados, constando apenas 41.353 óbitos.
Provavelmente está relacionado com esse erro, mas a verificação automática do goodtables também está falhando na checksum para o arquivo obito_cartorio.csv.gz após o download:
https://github.com/turicas/covid19-br/runs/892331858?check_suite_focus=true#step:3:910
Provavelmente está relacionado com esse erro, mas a verificação automática do goodtables também está falhando na checksum para o arquivo
obito_cartorio.csv.gzapós o download:https://github.com/turicas/covid19-br/runs/892331858?check_suite_focus=true#step:3:910
Opa, não tinha reparado nisso, obrigado! Provavelmente foi quando eu tive que forçar o backup do arquivo (para que o novo, que tem dados incompletos, não entrasse). Já consegui corrigir o script e assim que ele terminar de rodar vou rodar o processo normal de deployment dos dados e esse problema do checksum deve ser corrigido.
Script corrigido e dados no ar!
@turicas, agora está dando erro de validação.
Você mudou o esquema do csv obito_cartorio?
@turicas, agora está dando erro de validação.
Você mudou o esquema do csv
obito_cartorio?
Aqui tá funcionando.
@fabianofpena estou falando sobre os testes automatizados do Github. Siga o link, continua dando erro.