Workflow para dados de vacinas com update automático
paulommaia opened this issue · 2 comments
paulommaia commented
- Curl à API da ESRI
- Em Python, comparar o timestamp com o ficheiro vacinas.csv e despoletar a action “vacinas”
- Criar um workflow que, caso haja novo valor de vacinas, dê trigger à ação subsequente: https://github.com/dssg-pt/covid19pt-data/blob/master/.github/workflows/update_vacinas.py.
- Correr testes unitários das vacinas.
- Enviar notificação para Slack
- Quando a notificação estiver OK, enviar tweet de vacinas e fazer commit diretamente do ficheiro atualizado para o main.
davipt commented
Melhoramento ao flow actual:
- contexto: se o update_vacinas correr, adiciona uma linha ao vacinas.csv ; se o vacinas.csv tiver uma linha nova, é feito commit do ficheiro.
- SE houver mesmo uma linha nova, ou seja, houver mesmo commit do vacinas.csv, ENTÂO corre o tweet_vacinas.
- assim, se o action correr mais que uma vez, não sai tweet duplicado a menos que haja mesmo alteração no ficheiro. O tweet_vacinas já tem código para só mandar o tweet se os últimos dados forem de hoje, portanto cobre a situação de haver alteração no vacinas.csv por qualquer outra razão bizarra que não seja os dados de hoje
davipt commented
Temos workflow automático desde agosto:
- verifica se há dados novos de casos, amostras, vacinas, rt
- se houver alguma coisa, prepara a imagem (pandas etc)
- se houver mesmo dados novos de casos, faz o tweet dos dados
- se houver mesmo dados novos de vacinas, faz o tweet das vacinas
- amostras (testes) e Rt nunca tiveram tweet e não é agora que serão precisos. (e amostras continua a ser actualizado retroativamente)
- dados semanais ainda não estão automáticos (concelhos/sexta feira e relatório vacinas/terça ou quarta), nem lançam tweets por si só. Concelhos nunca teve, e relatório são mais dois tweets no das vacinas.
Vou fechar isto por agora ok?
Obrigado Daniel!