Aggiunta informazioni ai dataset regioni e andamento nazionale / Add informations on region and national trend datasets
Opened this issue · 21 comments
Ciao a tutti,
da lunedì 18/01 saranno aggiunti i dati di "totale_positivi_test_molecolare", "totale_positivi_test_antigenico_rapido", "tamponi_test_molecolare" e "tamponi_test_antigenico_rapido".
Saranno aggiunti anche i dati "codice_nuts_1", "codice_nuts_2" per il dataset regioni e "codice_nuts_1", "codice_nuts_2", "codice_nuts_3" per il dataset province per interoperare meglio con le informazioni geografiche; per maggiori informazioni (https://ec.europa.eu/eurostat/web/nuts/background)[https://ec.europa.eu/eurostat/web/nuts/background].
Dataset di esempio:
Dataset regioni: https://github.com/pcm-dpc/COVID-19/blob/master/esempi_dataset/dpc-covid19-ita-regioni-esempio.csv
Dataset andamento nazionale: https://github.com/pcm-dpc/COVID-19/blob/master/esempi_dataset/dpc-covid19-ita-andamento-nazionale-esempio.csv
Dataset province https://github.com/pcm-dpc/COVID-19/blob/master/esempi_dataset/dpc-covid19-ita-province-esempio.csv
Essendo i dati accodati al dataset attuale, non sarà presente una cartella legacy.
Qualsiasi contributo al dataset è benvenuto entro le 12:00 di venerdì 15/01/2021.
Grazie a tutti per la collaborazione
. - . - . - . - . - . - . - . - . - .
Hi,
from Monday 18/01 the data of "totale_positivi_test_molecolare", "totale_positivi_test_antigenico_rapido", "tamponi_test_molecolare" e "tamponi_test_antigenico_rapido" will be added.
We will add also the data "codice_nuts_1", "codice_nuts_2" in region dataset and "codice_nuts_1", "codice_nuts_2", "codice_nuts_3" in the province dataset to better interoperate with geographic data; for more informations (https://ec.europa.eu/eurostat/web/nuts/background)[https://ec.europa.eu/eurostat/web/nuts/background].
Sample datasets:
Regions dataset: https://github.com/pcm-dpc/COVID-19/blob/master/esempi_dataset/dpc-covid19-ita-regioni-esempio.csv
National trend dataset: https://github.com/pcm-dpc/COVID-19/blob/master/esempi_dataset/dpc-covid19-ita-andamento-nazionale-esempio.csv
Provinces dataset: https://github.com/pcm-dpc/COVID-19/blob/master/esempi_dataset/dpc-covid19-ita-province-esempio.csv
Since the data is appended to the current dataset, there will be no legacy folder.
Any contribution to the dataset is welcome by 12.00 on Friday 15/01/2021.
Thank you all for your cooperation
Sarà possibile capire qual è l'insieme intersezione tra i positivi al molecolare e i positivi al rapido? Per evitare che tutti i positivi al tampone rapido, che poi fanno un molecolare per conferma risultando nuovamente positivi, vadano a falsare il conto degli attualmente positivi comparendo due volte (la prima come "caso positivo al rapido" e la seconda come "caso positivo al molecolare")?
I test antigenici negativi il cui esito necessita di conferma verranno comunque conteggiati?
E' previsto un ricalcolo nel caso in cui il test di conferma sia positivo?
@benemana davo per scontato che se a test rapido segue test molecolare allora solo quest'ultimo viene inserito nel conteggio, ossia che totale_positivi_test_molecolare + totale_positivi_test_antigenico_rapido = totale_casi e che tamponi_test_molecolare + tamponi_test_antigenico_rapido = tamponi però in effetti potrebbe non esserlo.
@umbros urge quindi chiarire due punti:
- Saranno conteggiati tutti i test rapidi oppure solo quelli che non richiedono conferma con test molecolare?
- In caso fossero conteggiati tutti i rapidi, non dovrebbe essere fatta distinzione tra i test rapidi a cui segue conferma con test molecolare e quelli a cui essa non segue?
Inoltre ho una richiesta, i campi casi_testati_test_molecolare e casi_testati_test_antigenico_rapido non verranno aggiunti?
Rimane la colonna nuovi positivi che non e' cumulativa, la logica delle nuove colonne potrebbe essere questa, si intende riportare il numero di test positivi doviti alle diverse tipologie di tamponi giornalieri. Con questa informazione, sottraendo dai nuovi positivi i nuovi tamponi positivi molecolari, si potrebbero trovare le diagnosi giornaliere fatte con gli antigenici che ora sono possibili. Trovato questo numero si sottrae dagli antigenici positivi, e questi sono quelli che presumibilmente saranno ripetuti i giorni successivi.
Oppure potrebbe essere che la vecchia colonna nuovi positivi corrisponde al totale giornaliero delle nuove due,
in tal caso si darebbe meno informazione, riassumendo:
- (vecchio campo) nuovi positivi = Delta positivi_test_molecolare + Delta positivi_test_antigenico
- totale_tamponi_positivi = totale_ positivi_test_molecolare + totale_positivi_test_antigenico
Guardando l'evoluzione dei dati dell'ultima settimana dove alcune regioni hanno predisposto bollettini conformi a questa nuova specifica, visto che il vecchio campo nuovi positivi non conteneva quelli relativi agli antigenici (ad esempio Provincia di Bolzano),
opterei per l'ipotesi 2.
@umbros Quale delle due e' la semantica che assume il ministero? Oppure un'altra?
In ogni caso cosi si migliora molto la situazione, grazie!
Chiederei due cose se possibile:
-
Visto che alcune regioni hanno già iniziato a trasmettere in questa nuova forma da qualche settimana, chiederei se possibile di aggiornare il dataset anche con quelle informazioni nei giorni precedenti? i dati sono nelle colonne successive alle attuali e non dovrebbero creare problemi.
-
Chiederei poi, anche se non ci sono tutti i dati, di aggiungere precedentemente per le regioni che li riportavano i tamponi antigenici? Ora il campo c'è! In questo modo si rimetterebbero a posto le serie passate. Se necessario ho ricostruito Alto Adige, Toscana e Parzialmente il Veneto, prendendoli dalle vecchie note e dai siti quindi li posso fornire.
Sarebbe bello ripristinare il più possibile le serie per le regioni dell'Italia!!
Ciao @umbros, bella notizia.
Se le regioni sono sempre le 21 e non 20, inserirei il codice NUTS2 che è quello giusto per questo taglio territoriale e per questo settore (sanità).
Se utile, qui trovi un file con i COD_REG ISTAT e gli analoghi NUTS2 più aggiornati https://github.com/ondata/covid19italia/blob/master/webservices/vaccini/risorse/codiciTerritoriali.csv
P.S. andrebbero introdotti in tutti i file con taglio "regionale". Ma mi hai detto che lo farete. Grazie
@umbros Buongiorno Umbros,
Ieri ho aperto una nuova issue #1043 che è collegata a quest'argomento che non ha avuto una chiara risposta al quesito.
@Rabelaiss mi ha dato un ermetico riscontro ma, data l'urgenza e l'interesse alla problematica che seguo da mesi, sarei interessato ad una precisa risposta. Grazie e buona giornata.
Buonasera, i quesiti sono stati inviati a Ministero della Salute per un riscontro ufficiale.
Sono stati caricati i dati dal 15/01 ad oggi con i nuovi dati e i codici regione/provincia e i codici NUTS, nei prossimi giorni i dati precedenti saranno bonificati con i codici NUTS; dei nuovi dati sui tamponi e positivi ai tamponi le informazioni partono dal giorno 15/01.
Ottimo grazie!
@umbros
Buonasera Umberto,
In attesa del riscontro ufficiale da parte del MdS ti invio questo screenshot del mio DB in cui ho modificato l'identificazione dei campi dell'intestazione delle colonne d'interesse in quelle che penso debbano essere. I numeri parlano chiaro.
Concordi?
Se ritieni che lo schema possa essere d'aiuto al MdS, invialo pure.
Rimango in attesa di un tuo cenno di riscontro. Grazie
Luigi
Allora capisco bene che il campo "nuovi_positivi" era sempre il totale di tutti e due tipi di test (molecolare e antigenico)?
E per i tamponi al contrario? Ovviamente c'è stato un salto grande il 15 gen. Pensavo che fosse la conseguenza dell'aggiunta dei test antigenici (che sempre erano stati fatti, ma non riportati qui). Mi sbaglio?
@Jmuccigr
Scusami John, ma non ho capito la domanda sui "nuovi_positivi".
Quello che posso dirti è che la relazione che lega i "nuovi_positivi" con il "nuovi_casi" è questa:
totale nuovi positivi (g) = totale nuovi casi (positivi)(g) – dimessi/guariti(g) – deceduti(g)
poi capire quanti casi da test molecolare rapido o antigienico è un altro tipo di discorso che non credo possa essere capito dai dati disponibili. Ci penserò.
@umbros
Per i tamponi è più semplice perché questo dato è correlabile solo con il numero dei nuovi_casi identificati relativi , attraverso il rapporto che i media e gli specialisti chiamano INDICE DI CONTAGIOSITÀ' o POSITIVITÀ' e che io contesto con quello che ho proposto e che considero il vero INDICE DI CONTAGIOSITÀ (vedi #1043 ).
A breve emetterò una relazione che spero chiarisca la confusione che si è creata.
Saluti
Luigi
@Jmuccigr Fino al 15/1 in questo database erano inseriti solamente i positivi identificati con tampone molecolare, per verificare ciò basta confrontiamo i dati di Bolzano pubblicati sul sito della provincia con quelli pubblicati in questo database:
- il 14/1 i
nuovi_positividi Bolzano nel file dpc-covid19-ita-regioni-20210114.csv sono 174, mentre sul sito della provincia si legge 174 casi positivi da PCR e 199 da test antigenici - il 15/1 i
nuovi_positividi Bolzano nel file dpc-covid19-ita-regioni-20210115.csv sono 529 e sul sito della provincia si legge 325 casi positivi da PCR e 204 da test antigenici la cui somma fa proprio 529.
Il grande incremento dei tamponi avvenuto il 15/1 è dovuto all'inserimento degli antigenici
Vi allego lo status ad oggi in grafico che chiarisce la situazione.
Quello che emerge è che i Test Antigenici Rapidi sono una piccola percentuale dei Test con Tampone Molecolare.
Domanda: perché è nata l'esigenza di evidenziare queste componenti e si è abbandonata la raccolta dei dati da Sospetto Diagnostico e da Screening a mio parere più importanti? @umbros
@CT-igiul
Credo che tu confonda nuovi_positivi con variazione_totale_positivi.
nuovi_positivi si ottiene facendo la differenza tra due valori consecutivi di totale_casi al netto di eventuali riconteggi comunicati negli avvisi. Ad esempio nuovi_positivi oggi è 10497 e si ottiene facendo la differenza tra gli ultimi due valori di totale_casi ossia 2400598 e 2390102, e sottraendo poi 1 poiché negli avvisi si legge che Emilia-Romagna ha eliminato 1 caso.
poi capire quanti casi da test molecolare rapido o antigienico è un altro tipo di discorso che non credo possa essere capito dai dati disponibili
Perché dici che non ci sono i dati se tu stesso li usi nel tuo secondo grafico?
I dati totale_positivi_test_molecolare e totale_positivi_test_antigenico_rapido sono proprio i casi diagnosticati con tampone e i casi diagnosticati con test rapido.
Buongiorno a tutti,
Appelliamoci al "rasoio di Ockham" e fermiamo le bocce o rischiamo di confonderci tutti, magari dicendo le stesse cose.
@Rabelaiss, il 10/10/2020 col Tuo aiuto
mi hai chiarito un dubbio e mi hai permesso di interiorizzare la formula che lega totale nuovi positivi (g) col totale nuovi casi (positivi)(g) , che è molto chiara:
Ti allego nuovamente il format grafico dei dai di input, che avevo preparato per altri due giorni, riproposto per il caso specifico che tu hai preso in esame, ovvero giorno 18/01/2021 e giorno 19/01/2021:
Mi sembra che tutto quadri, anche la variazione segnalata dall'Emilia Romagna e che le idee sono chiare a tutti.
Ne convieni?
@CT-igiul
Credo che tu confondanuovi_positiviconvariazione_totale_positivi.
Credo proprio di no. : "nuovi_positivi" e "variazione_totale_positivi" sono legati algebricamente fra di loro tramite i "Dimessi/Guariti" e "Deceduti" come mi spiegasti tu.
Perché dici che non ci sono i dati se tu stesso li usi nel tuo secondo grafico?
Hai ragione! è stata una svista causata da una non attenta lettura della domanda di @Jmuccigr.
Umberto, @umbros hai novità dal Ministero delle Salute? Grazie
Un saluto
Luigi
@Jmuccigr Fino al 15/1 in questo database erano inseriti solamente i positivi identificati con tampone molecolare, per verificare ciò basta confrontiamo i dati di Bolzano pubblicati sul sito della provincia con quelli pubblicati in questo database:
- il 14/1 i
nuovi_positividi Bolzano nel file dpc-covid19-ita-regioni-20210114.csv sono 174, mentre sul sito della provincia si legge 174 casi positivi da PCR e 199 da test antigenici- il 15/1 i
nuovi_positividi Bolzano nel file dpc-covid19-ita-regioni-20210115.csv sono 529 e sul sito della provincia si legge 325 casi positivi da PCR e 204 da test antigenici la cui somma fa proprio 529.Il grande incremento dei tamponi avvenuto il 15/1 è dovuto all'inserimento degli antigenici
Pensavo che fosse cosi la situazione, ma mi sembrava strano che per il 15 gen c'e un salto nei tamponi e non nei nuovi positivi.
Ovviamente è sempre meglio avere più dati, ma il cambiamento nel modo di contare i test può essere facilmente malinteso. Si legge sui giornali per esempio il tasso di nuovi casi riportato con il nuovo denominatore (dei due tipi di test) siccome fosse sempre così.
I giornali non e' detto che diano informazioni precise, su queste questioni cosi' tecniche.
Ci sono due fattori che influenzano i dati trasmessi, uno e' la politica di diagnosi utilizzata nella regione, l'altro e' la cura con cui i dati vengono trasmessi tenendo conto o meno delle indicazioni date (che magari possono essere fraintese).
Dato che le nuove circolari per la diagnosi con solo antigenici sono recenti, può darsi effettivamente che alcune regioni non le abbiano ancora applicate, ma in ogni caso l'aumento dei positivi non deve per forza di cose crescere a fronte dell'inserimento degli antigenici, perché dal punto di vista dei positivi, l'uso degli antigenici determina solo una modalità diversa di trovarli, non certamente una loro moltiplicazione.
Guardando infatti quanto riporta il Piemonte, si vede che in alcuni casi ci sono effettivamente diagnosi fatte con i soli antigenici, ma in altri come Bolzano no.
in ogni caso l'aumento dei positivi non deve per forza di cose crescere a fronte dell'inserimento degli antigenici, perché dal punto di vista dei positivi, l'uso degli antigenici determina solo una modalità diversa di trovarli, non certamente una loro moltiplicazione.
@magaspari, tanto dipende dai motivi per scegliere il tipo di test, no? Se il test Ag viene usato solo negli stessi casi del test molecolare (cioè, come dici, se è solamente un'altra modalità), non aspetteremo un aumento del totale, ma se il test Ag si applica ad un'altra popolazione si aspetterebbe la scoperta di più casi, che non si troverebbero con il test molecolare.
Puo darsi che hai ragione e stiamo parlando semplicemente di un'altra modalità. Visto che il totale di casi non mostra un salto come il numero di test, sembra cosi.
Per i giornali? Diciamo che mi aspettavo di meglio. :-)
C'è qualcosa che non va, il veneto ha totale_positivi_test_antigenico_rapido = 0 pur avendo fatto 234244 test rapidi dal 15 gennaio ad oggi, anche altre regioni si trovano in situazioni analoghe. Inoltre, in generale il rapporto totale_positivi_test_antigenico_rapido / tamponi_test_antigenico_rapido è molto basso
Sembra guardando anche altre regioni che il dato trasmesso totale_positivi_test_antigenico_rapido sia interpretato come casi diagnosticati solo con tamponi antigenici, e non il numero di antigenici positivi.
Il dato nuovi positivi sembra essere la somma dei delta dei due ultimi dati cumulativi sui tamponi positivi aggiunti dal 15/1, ed il numero di cas cumulativoi (il dato che appare prima dei tamponi totali) e' dato dalla somma di questi due.
Credo sia questa l'interpretazione corretta, in cui si perdono pero' i tamponi ripetuti, che possono essere solo stimati.
A meno che non si trova qualche regione difforme.