dssg-pt/covid19pt-data

Workflow para dados de vacinas com update automático

paulommaia opened this issue · 2 comments

  • Curl à API da ESRI
  • Em Python, comparar o timestamp com o ficheiro vacinas.csv e despoletar a action “vacinas”
  • Criar um workflow que, caso haja novo valor de vacinas, dê trigger à ação subsequente: https://github.com/dssg-pt/covid19pt-data/blob/master/.github/workflows/update_vacinas.py.
  • Correr testes unitários das vacinas.
  • Enviar notificação para Slack
  • Quando a notificação estiver OK, enviar tweet de vacinas e fazer commit diretamente do ficheiro atualizado para o main.

Melhoramento ao flow actual:

  • contexto: se o update_vacinas correr, adiciona uma linha ao vacinas.csv ; se o vacinas.csv tiver uma linha nova, é feito commit do ficheiro.
  • SE houver mesmo uma linha nova, ou seja, houver mesmo commit do vacinas.csv, ENTÂO corre o tweet_vacinas.
  • assim, se o action correr mais que uma vez, não sai tweet duplicado a menos que haja mesmo alteração no ficheiro. O tweet_vacinas já tem código para só mandar o tweet se os últimos dados forem de hoje, portanto cobre a situação de haver alteração no vacinas.csv por qualquer outra razão bizarra que não seja os dados de hoje

Temos workflow automático desde agosto:

  • verifica se há dados novos de casos, amostras, vacinas, rt
  • se houver alguma coisa, prepara a imagem (pandas etc)
  • se houver mesmo dados novos de casos, faz o tweet dos dados
  • se houver mesmo dados novos de vacinas, faz o tweet das vacinas
  • amostras (testes) e Rt nunca tiveram tweet e não é agora que serão precisos. (e amostras continua a ser actualizado retroativamente)
  • dados semanais ainda não estão automáticos (concelhos/sexta feira e relatório vacinas/terça ou quarta), nem lançam tweets por si só. Concelhos nunca teve, e relatório são mais dois tweets no das vacinas.

Vou fechar isto por agora ok?

Obrigado Daniel!