Wie junge Wissenschaftler:innen für Open Science sensibilisiert werden können

Andreas Beyerlein über seine Lehrerfahrungen mit Open and Reproducible Science

Wenn Sie sich im Open Science Center in München mit Statistiker:innen, Psycholog:innen, Wirtschaftsforschenden und anderen Wissenschaftler:innen austauschen, welche Rolle spielen hier fachspezifische Unterschiede? Gibt es interdisziplinäre Austauschgespräche zu Best Practices bezüglich Open Science?

AB: Ja, durchaus. Wir tauschen uns unter anderem über Lerninhalte aus. Ich nenne mal ein Beispiel: Während meiner Tätigkeit an der Core Facility Statistical Consulting – einer Service-Einheit für statistische Beratung und Lehre – am Helmholtz Zentrum München war ich an der Etablierung eines Kursprogramms beteiligt, das drei Einheiten umfasst: (1) Einführung in das statistische Programmpaket R, (2) Einführung in die Statistik und (3) Open and Reproducible Science. Diese Module müssen Doktorand:innen verpflichtend durchlaufen. Für den dritten Teil zu Open and Reproducible Science haben wir uns intensiv mit den Kolleg:innen vom Open Science Center der Ludwig-Maximilians-Universität (LMU) ausgetauscht. Fachspezifische Unterschiede zeigten sich hier beispielsweise beim Bewusstsein für den Nutzen von Replikationsstudien, das in der Psychologie schon deutlich mehr geschärft ist als beispielsweise in der Medizin.

Wie war die Resonanz der Teilnehmer:innen?

AB: Die R- und Statistikkurse wurden immer sehr gut evaluiert. Wir haben auch versucht, das Ganze etwas aufzulockern, zum Beispiel durch sogenannte Statistical Stories. Also wo kommt Statistik im Alltag vor? Wie kann ein Test falsch positiv oder falsch negativ sein? Für die meisten sind die Inhalte der R- und Statistikkurse direkt in ihren Forschungsarbeiten anwendbar, selbst wenn sie erst kürzlich mit ihrer Doktorarbeit begonnen hatten. Beim Thema Open and Reproducible Science ist uns aufgefallen, dass die Kursteilnehmer:innen in einer etwas fortgeschritteneren Phase ihrer wissenschaftlichen Tätigkeit die Relevanz des Themas schneller erfassen konnten. Für Doktorand:innen, die noch keine Berührung mit dem wissenschaftlichen Publizieren hatten, war das Thema Open and Reproducible Science zunächst noch abstrakt. Es ist jedoch wichtig, Nachwuchswissenschaftler:innen von Anfang an für die Bedeutung von sorgfältiger Dokumentation und guter wissenschaftlicher Praxis zu sensibilisieren und ihnen hierfür praktische Leitfäden an die Hand zu geben. Dies ist ein Ziel der Kurse.

Würden Sie auch Wirtschaftsforschungsinstituten empfehlen, verpflichtende Statistik- und Reproduzierbarkeits-Kurse anzubieten? Und wenn ja, wer gibt diese Kurse idealerweise? Und sollte der Kurs als interaktiver Workshop angeboten werden, damit die Teilnehmenden auch selber aktiv werden?

AB: Ich denke, dass die Wirtschaftswissenschaften davon auch profitieren würden. Ein halber Tag zu Open and Reproducible Science ist kaum eine zeitliche Investition, und da kann man schon viel behandeln. Zudem denke ich, dass man im Kurs fachspezifische Beispiele bringen sollte, weil sonst einiges recht theoretisch rüberkommt. Das Workshop-Format hat sich für uns beim Modul Open and Reproducible Science nicht angeboten. Stattdessen haben wir eher versucht, an bestimmten Stellen mit den Teilnehmer:innen in die Diskussion zu gehen. Des Weiteren haben wir Best-Practice-Beispiele und geeignete Tools für beispielsweise die Erstellung, Speicherung und Verbreitung von reproduzierbarem Programmcode gezeigt, sind aber aus praktischen und Zeitgründen nicht in die Umsetzung gegangen. Die beiden Statistik-Module beinhalten hingegen viele Übungen und interaktives Arbeiten. Zusätzlich besteht abseits der Kurse immer das Angebot der Core Facility zur individuellen Beratung in Statistik- und Open-Science-Fragen.

Müsste es nach Ihrer bisherigen Erfahrung einen stringent koordinierten Open-Science-Kurs an Forschungseinrichtungen geben? Oder halten Sie eher mehrere Einzel-Angebote von verschiedenen Einheiten an einer Hochschule für sinnvoller?

AB: Für das Helmholtz Zentrum München mit seiner Fokussierung auf die biomedizinische Forschung halte ich einen solchen Kurs für sehr sinnvoll. Bei einer stärker multidisziplinär aufgestellten Institution wie der LMU scheint mir dieser Ansatz weniger praktikabel zu sein. Das Ziel des LMU Open Science Center ist es daher, die Ressourcen und Kompetenzen der verschiedenen Fachrichtungen zu bündeln. Das heißt, wenn beispielsweise ein:e Wissenschaftler:in der LMU Fragen zu einem bestimmten Aspekt von Open Science hat, wendet sich diese Person idealerweise an das Open Science Center. Die Kolleg:innen dort helfen direkt und wissen genau, wer Expert:in für welches Thema ist. Ich kenne mich beispielsweise kaum mit Rechtsfragen rund um Open Access aus, dafür wäre dann die Unibibliothek der geeignete Ansprechpartner. Das ganze Umfeld verändert sich zudem sehr schnell, und es ist aus meiner Sicht kaum möglich, zu allen Fragen auf dem aktuellsten Stand zu bleiben. Da ist es gut, wenn man nach dem Prinzip Arbeitsteilung mit Leuten sprechen kann, die genau wissen, welche Plattform oder welches Tool gerade am besten geeignet ist für bestimmte Zwecke. Der Vorteil eines solchen Kompetenzcenters ist es zudem, dass das Thema als Ganzes ins Bewusstsein der Hochschule rückt und sichtbar gemacht wird.

Sie sind Editor bei PLOS ONE. Lassen Sie sich für Ihr Fach tatsächlich die ganzen Daten vorlegen? Hat PLOS ONE besondere Ansprüche im Vergleich zu anderen Journals?

AB: Bei PLOS ONE steht im Vordergrund, dass die Studie sauber durchgeführt und insbesondere im Methoden- und Ergebnisteil adäquat beschrieben wird. Zu welchem Ergebnis die Studie kommt, darf hingegen – anders als bei den meisten anderen mir bekannten Journals – nicht in die Bewertung der Gutachter:innen und Editor:innen eingehen. Ich halte diesen Ansatz für essenziell, um den sogenannten Publication Bias zu vermeiden, also dass nur „positive“ (d.h. statistisch signifikante) Ergebnisse berichtet werden und „negative“ (also nicht signifikante) unter den Tisch fallen – ein Prinzip, das offensichtlich Fehlanreize im wissenschaftlichen System setzt. Deswegen habe ich gerne zugesagt, dort als Editor zu agieren. Für mich war auch schon zuvor als Gutachter für PLOS ONE und andere Journals nicht entscheidend, ob das Ergebnis die Sicht auf die Dinge ändert, sondern ob die Studie gut gemacht ist, ob ich glaube, dass das Ergebnis „stimmt“ und ob es adäquat diskutiert ist. Werden relevante Limitationen genannt? Kann ich nachvollziehen, was gemacht wurde? Ich lese den Methodenteil sehr genau und vergleiche ihn mit dem Ergebnisteil, ob alles gut zusammenpasst und nachvollziehbar ist. Dass mir Daten und Code von vornherein zur Verfügung gestellt werden, kam allerdings noch nie vor.

Sie müssen es also anfordern?

AB: Ja, genau. Dass alleine der Code direkt zur Verfügung gestellt wird, passiert praktisch nie, obwohl es eigentlich gut möglich wäre. Normalerweise kann ich mir aber bereits aus dem Text ein sehr gutes Bild machen, ob die Daten und die Auswertung valide erscheinen. Manchmal schlage ich zusätzliche Sensitivitätsanalysen vor, also z.B. ändert sich das Ergebnis wesentlich, wenn man eine bestimmte Variable mit einbezieht, oder gibt es Hinweise auf systematisch fehlende Werte und welchen Einfluss haben diese ggf. auf die Ergebnisse? Sowohl als Editor als auch als Reviewer verlange ich immer nach der ersten Begutachtung, dass der Code zur Verfügung gestellt wird, und ich frage immer nach, ob die Daten zur Verfügung gestellt werden können – und falls nicht, fordere ich ein Statement, warum nicht.

Wie häufig werden dann die Daten am Ende zur Verfügung gestellt?

AB: Sehr selten. Die Bereitstellung von Individualdaten ist in den Lebenswissenschaften aus Datenschutzgründen natürlich oft heikel, leider auch in anonymisierter Form. Ich erkenne es daher meistens an, dass die Daten nicht zur Verfügung gestellt werden können. Bei den Codes treffe ich allerdings oft auf Widerstände: In vielleicht 50 Prozent der Fälle werden mir die Codes auf Nachfrage zur zweiten Begutachtung zur Verfügung gestellt. Bei den anderen 50 Prozent hingegen kommen zunächst Scheinargumente, warum das nicht möglich sei – die ich aber nicht durchgehen lasse.

Wenn Sie sagen, PLOS ONE ist auch ein guter Ort, um seine nicht signifikanten Studien zu veröffentlichen: wie viele Studien mit nicht signifikanten Ergebnissen gibt es in PLOS ONE? Wird das über die Jahre mehr?

AB: Grundsätzlich denke ich, dass das Bewusstsein für den Wert nicht signifikanter Ergebnisse und für die Pflicht, gut gemachte Studien unabhängig von ihrem Ergebnis zu veröffentlichen, in den letzten Jahren gestiegen ist. Einen zeitlichen Vergleich kann ich dafür angesichts von weit über 1.000 Artikeln, die PLOS ONE per Monat veröffentlicht, allerdings nicht anstellen. Generell habe ich den Eindruck, dass medizinische Artikel oft erst bei Journals mit höheren Impact-Faktoren eingereicht werden. Dort werden aber eben häufig nur Artikel mit „positiven“ Ergebnissen veröffentlicht, so dass gerade Artikel mit „negativen“ oder zumindest etwas unspektakuläreren Ergebnissen bei PLOS ONE landen, das wegen seiner fachlich bewusst breiten Ausrichtung nicht mit den Impact-Faktoren der hochrangigen medizinischen Journals mithalten kann. Somit stellt PLOS ONE gewissermaßen ein Korrektiv dar, wenngleich es mit Blick auf den schon erwähnten Publication Bias natürlich wünschenswert wäre, dass auch andere Journals Studien in erster Linie nach ihrer Qualität und nicht nach ihrem Ergebnis bewerten würden.

Welche Tipps würden Sie Wirtschaftsforscher:innen geben, die noch am Anfang sind, wie sie ihren Editor glücklich machen können? Was müssen sie beachten?

AB: Mir ist wichtig, dass der ganze Artikel von der Einleitung bis zur Diskussion einem roten Faden folgt, wobei mein Fokus auf der Beschreibung und Darstellung der Methoden und Ergebnisse liegt. Ich empfehle hierzu die Verwendung fachspezifischer Checklisten, die einem genau sagen, welche Information an welcher Stelle genannt werden sollte. Und wenn man von vornherein den Code und – in den Wirtschaftswissenschaften vermutlich meist besser möglich als in den Lebenswissenschaften – die Daten veröffentlicht, hat man schon sehr viel in Richtung Open and Reproducible Science getan. Hierzu würde ich den grundsätzlichen Rat geben, den Code von vornherein gut lesbar und reproduzierbar zu schreiben. Damit tut man sich alleine schon selber einen Gefallen, wenn nach Wochen oder Monaten der Wunsch nach zusätzlichen Analysen aufkommt, was nach meiner Erfahrung praktisch immer der Fall ist. Als Statistiker finde ich es zudem immer wichtig, multiples Testen zu adressieren, wozu neben der Entscheidung für eine geeignete Korrektur (z.B. mittels Bonferroni) auch gehört, Haupt- und Nebenanalysen klar zu benennen und in Zusammenhang mit der Hypothese zu stellen. Mitunter gibt es Studien, auf die sich solche Konzepte nicht sinnvoll anwenden lassen. Als Gutachter lege ich Wert darauf, dass diese Studien dann nicht als „konklusiv“, sondern als rein hypothesen-generierend diskutiert werden, dass also alle Ergebnisse in anderen unabhängigen Studien bestätigt werden müssen. Wichtig ist mir aber noch zu erwähnen, dass ich meine Rolle als Gutachter oder Editor nicht nur in einer bewertenden Form auffasse, sondern dass ich auch immer bemüht bin, konstruktive Verbesserungsvorschläge zu machen, um die eingereichte Arbeit noch um Aspekte zu ergänzen, die vielleicht noch nicht betrachtet wurden.

Wo sehen Sie generell die Zukunft von Open Science?

AB: Ich denke, Open Science hat eine positive Strahlkraft. Leider gibt es noch zahlreiche etablierte Wissenschaftler:innen in leitenden Positionen, die wenig von Open Data oder Reproduzierbarkeit halten oder sich noch nicht ausreichend damit beschäftigt haben und sich deswegen auf tradierte Wege beziehen – nach dem Motto „Haben wir schon immer so gemacht“. Doktorand:innen und Post-Doktorand:innen, die so sozialisiert werden, haben es natürlich schwerer, Open Science zu implementieren. Beim Helmholtz Zentrum München war es uns daher sehr wichtig, mit unseren Kursen bei jungen Wissenschaftler:innen anzusetzen, damit sie später, wenn sie möglicherweise selber in Leitungspositionen kommen, Open Science umsetzen. Gleichzeitig müssen aber natürlich passende Anreize da sein, sonst verliert sich die intrinsische Motivation wieder. Es besteht ja ein ganz harter Wettbewerb um Stellen und Drittmittel, und viele Wissenschaftler:innen haben befristete Verträge, so dass Forschende verständlicherweise nicht nur altruistisch denken können. Open Science muss daher in den Förderrichtlinien der Geldgeber einen wesentlichen Niederschlag finden und tut das glücklicherweise auch bereits. Ich bin optimistisch, dass sich mit diesen beiden Ansätzen – von unten stützen und von oben ziehen – das Ganze in die richtige Richtung bewegt.

Vielen Dank!

Das Interview wurde geführt von Dr. Doreen Siegfried.

Das Interview wurde geführt am 11.02.2022.

Über Dr. Andreas Beyerlein

Dr. Andreas Beyerlein ist Statistiker und Epidemiologe beim Bayerischen Landesamt für Gesundheit und Lebensmittelsicherheit sowie Privatdozent an der Technischen Universität München. Er ist Associate Editor bei PLOS One und Mitglied des Open Science Centers der Ludwig-Maximilians-Universität München.

Kontakt: https://andreas-beyerlein.de/

ORCID-ID: https://orcid.org/0000-0001-6603-5036

ResearchGate: https://www.researchgate.net/profile/Andreas-Beyerlein

Zurück zum Open-Science-Magazin