Corrigir/atualizar esquema da tabela obitos_cartorio
Opened this issue · 12 comments
Recentes atualizações quebraram os testes automatizados de validação de dados. Especificamente, as colunas do arquivo obitos_cartorio.csv não correspondem mais ao que está no esquema.
É necessário fazer atualizações no esquema para refletir a nova estrutura dessa tabela.
identifiquei que o arquivo obito_cartorio.csv conta apenas com os campos a seguir :
date
state
new_deaths_pneumonia_2019
new_deaths_pneumonia_2020
new_deaths_respiratory_failure_2019
new_deaths_respiratory_failure_2020
new_deaths_covid19
epidemiological_week_2019
epidemiological_week_2020
deaths_covid19
deaths_respiratory_failure_2019
deaths_respiratory_failure_2020
deaths_pneumonia_2019
deaths_pneumonia_2020é isso mesmo @turicas ?
pois não tá de acordo com :
também não condiz com o disponibilizado em https://brasil.io/dataset/covid19/obito_cartorio/
acredito ser uma falha na geração do arquivo obito_cartorio.csv
@endersonmaia pode verificar agora, baixando de https://data.brasil.io/dataset/covid19/obito_cartorio.csv.gz ? Parece que deu algum problema no spider, estou checando.
@endersonmaia pode verificar agora, baixando de https://data.brasil.io/dataset/covid19/obito_cartorio.csv.gz ? Parece que deu algum problema no spider, estou checando.
roda um make docker-validate aí
tô longe do PC agora
@endersonmaia pode verificar agora, baixando de https://data.brasil.io/dataset/covid19/obito_cartorio.csv.gz ? Parece que deu algum problema no spider, estou checando.
continua dando erro, não por causa da quantidade de campos mais, mas pela ordem dos campos
a ordem dos campos no arquigo data/output/obito_cartorio.csv não tá respeitado a ordem definida em schema/obito_cartorio.csv, que é a mesma seguida no datapackage.json
se corrigir a ordem, o validate vai passar
o fix que eu imaginei, seria corrigir a ordem dos campos em datapackage.json e schema/obito_cartorio.csv, mas não me parece o correto
Deixo aqui um comentário só para lembrar que o problema permanece até hoje. Os dados não estão validando.
@turicas, já que você implementou essa mudança nos dados em julho, poderia corrigir? Precisa de ajuda?
Vocês também recebem essas notificações de que a build falhou?
Vocês também recebem essas notificações de que a build falhou?
Não tenho recebido, mas tb não recordo de ter configurado para não receber. 🤔
Não tenho recebido, mas tb não recordo de ter configurado para não receber. thinking
Eu recebo todos os dias. Eu poderia ir lá corrigir a tabela, mas o tempo é escasso e fico com o receio do Turicas alterá-la de novo e o trabalho ser em vão...
O meu ponto é: se a build está dando falha há meses e até hoje ninguém investiu o tempo em corrigir, significa que ter essa verificação automática não está servindo ao seu propósito.
Tem uma PR (#200) de ajuste na documentação da API, talvez quem propôs os ajustes pudesse ajudar com essa tb.
O tempo por aqui tb tá escasso. =/
Eu poderia fazer um PR com essa mudança. Todavia, considerando que o PR #200 está aberto, sem resposta, há cinco meses, e alguns PRs aqui estão abertos, sem resposta, desde março do ano passado, ele provavelmente também ficaria parado no limbo. Creio que esse tempo poderia ser melhor empregado em outros projetos.