Datenmanagement Plan soll eure Dokumentation referenzieren
Fuenfgeld opened this issue · 9 comments
https://github.com/Fuenfgeld/ATeamDatenmanagementUndArchivierung/wiki/Datenmanagementplan
Hier sind vor allem Sektion 3.1 - 3.3 gemeint.
Verlinkt hier eure Quelldaten Dokumentation
Verlinkt hier auch eure Quelldaten und
Verlinkt hier auch eure Dokumentation eure ETL Prozesse
Euer Datenmanagement Plan ist der Einstiegspunkt eures Datenprojektes und muss alle anderen Dokumente, Daten und Code direkt oder indirekt verlinken und referenzieren
Ihr solltet auch die SQLite Datenbankfiles referenzieren im DMplan
SQLite Datenbankfiles referenzieren im DMplan
ich dachte die sind immer nur temporär im memory?
SQLite Datenbankfiles referenzieren im DMplan
ich dachte die sind immer nur temporär im memory?
Jau sind sie bei uns bis jetzt nur.
Wir könnten uns überlegen, die Datenbank, die nach dem ETL-Prozess geladen wird, abzuspeichern und die zu verlinken.
Z.b. vor dem Hintergrund Speicherung der Forschungsdaten 10 Jahre, vielleicht gibt es ein Python Update und irgendwelche Funktionen, die wir für die Transformation nutzen, sind nicht mehr ohne weiteres ausführbar, dann kann man trotzdem noch auf die transformierten Daten schnell zugreifen.
@fphans @Carmen-Haubold wie seht ihr das?
finde ich gut, speicherort dann wieder ein einem anderen googledriveordner?
Konsens aus Arbeitstreffen:
ArbeitsDB bleibt im Memory und wir machen einmalig eine Exportversion zur Ablage im GitHub
offen: @Fuenfgeld sollen wir dafür einen Pseudonymisierungs/Anomymisierungsschritt machen?
Eine Pseudonymisierung könnt ihr bei der DSFA angeben als Sicherung der Identifizierenden Daten. Das bleib euch allerdings Überlassen.
@Carmen-Haubold @lknegendorf : nach wie vor ist offen wie und wo wir die Tabelle Ablegen. Wir bräuchten also einen optionalen Code der nur einmalig läuft und die DB im Drive ablegt oder?