Hilfe, die empirischen Wissenschaften stecken in der Krise, wie kommen wir da wieder raus?
Fellow-Programm Freies Wissen 2018/2019 Qualifizierungsworkshop 11. - 12.02.2019 @ Museum für Naturkunde Berlin
Session: Fixing the broken system
Referent*in: Gerd Gigerenzer
https://tools.wmflabs.org/scholia/author/Q108184
Diskussionsfragen:
Fixing the broken system Oder: Hilfe, die empirischen Wissenschaften stecken in der Krise, wie kommen wir da wieder raus?
Generelle Einführung: "How open science can solve (parts of) the replication crisis" (Schönbrodt, 2017) https://osf.io/bd5s4/ Auch: "Openness & Transparency" (Fiedler & Rahal, 2018) https://osf.io/b7dmq/?view_only=a67659e8a54b4b2ea52eb90dc9f686d7 Auch: Let's be less wrong (Henninger, 2016) http://files.felixhenninger.com/2016/2016-04%20Felix%20Henninger%20--%20Let's%20be%20less%20wrong.pdf
(1) Was ist überhaupt kaputt am System? Und warum ist das ein Problem? Diagnosemodus
(a) Leistungsdefinition anhand von Publikationszahl
"Don't make a fool of yourself: Reputation and performance evaluation in academia" (Schönbrodt, 2018) https://osf.io/zyr4g/)
(b) Publikationsbias + Ressourcenknappheit (underpowered and false positive literature)
"Why most published research findings are false" (Ioannidis, 2005), https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
Auch: "The rules of the game called psychological science (Bakker, Dijk, & Wicherts, 2012), http://pages.ucsd.edu/~cmckenzie/Bakker2012Perspectives.pdf
--> problematische Incentives, die problematischen Forschungspraktiken attraktiver machen: p-Hacking, HARKing, optional stopping. Überblick: https://plato.stanford.edu/entries/scientific-reproducibility/#QuesResePrac p-Hacking zum Ausprobieren: https://www.nicebread.de/introducing-p-hacker/ Im Detail: https://osf.io/5d9pk/ p value @ calling bullshit https://www.youtube.com/watch?v=eesUdFlYMh8
c) Bullshit Asymmetry (Brandolini's Law, http://ordrespontane.blogspot.com/2014/07/brandolinis-law.html):
Es braucht zig-fach so viele Datenpunkte, um einen Effekt wieder los zu werden, wie es braucht, um ihn zu etablieren.
Beispiel: https://en.wikipedia.org/wiki/Ego_depletion#Reproducibility_controversy_and_conflicting_meta_analyses
Nosek et al. (2012): "The problem isn't that false results get into the literature, it's that they stay in the literature"
------- Das ist dir noch nicht kaputt genug? Dann guck mal hier ------- :'-)
Allgemeine Einführung, was noch alles kaputt ist: "Everything is fucked: The syllabus" (Srivastava, 2016) https://thehardestscience.com/2016/08/11/everything-is-fucked-the-syllabus/
(2) Was kann man machen, um das System zu fixen? Diskussionsvorschläge
(a) Umdenken bei der Leistungsdefinition: Zählt wirklich nur die Zahl der Publikationen? Und leisten Wissenschaftler das beste, wenn sie unter Druck stehen (https://www.mpg.de/lise-meitner-exzellenzprogramm)? (b) Umdenken bei der Publikationswürdigkeit: wie wär's mit transparent (präregistriert, open data, open methods: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002456) und solide (a priori Poweranalyse) statt überraschend und magisch und signifikant (c) ... (q) Proaktiver Umgang mit Fragen zur Replizierbarkeit -> Verbesserung der Literaturlage über Zeit (r) Tools die offene Wissenschaft einfach(er) machen (s) Als reviewer auf offene Materialien/Daten bestehen (oder kurze Erklärung warum das nicht möglich ist): https://opennessinitiative.org/ (t) Incentives für transparentes wissenschaftliches Verhalten, auch 'symbolische' (e.g. badges) (u) Stärkerer Fokus auf Replikation (z.B. Abschlussarbeiten an der Fernuniversität Hagen (http://open-science-fernuniversitaet-hagen.de/#)) (v) (Potentielle) Reproduzierbarkeit von Analysen durch Open Data, Metadaten (w) Bewertung von Forschung unabhängig vom Ergebnis: Preregistration, registered reports, result-blind peer review -> Keine "high-risk-Forschung" (x) Gemeinsame Initiativen von vielen ForscherInnen - Kollaborationen im Einzelfall: Study Swap (https://osf.io/view/StudySwap/) - Groß angelegte Kollaborationen, e.g. Open Science Collaboration, Many Labs, Psych Science Accelerator (https://psysciacc.org) - Initiativen zur Verbesserung der Forschungsqualität: Society for the Improvement of Psychological Science (https://improvingpsych.org), Network of Open Science Initiatives (https://osf.io/tbkzh/), lokale open-science-initiativen
Vgl. Nosek, Spies, & Motyl (2012): Scientific Utopia II: "Published and true are not synonyms. To the extent that publishing itself is rewarded, then it is in scientists’ personal interests to publish, regardless of whether the published findings are true" (p. 616) Nelson, Simmons, & Simonsohn (2017): Psychology's Renaissance (https://doi.org/10.1146/annurev-psych-122216-011836) https://fivethirtyeight.com/features/psychologys-replication-crisis-has-made-the-field-better/