Prä-Registrierungen sind der Weg in die Zukunft

Andreas Dür über seine Open-Science-Erfahrungen

Mit welchen Open-Science-Praktiken konnten Sie sich in Ihrer Karriere Vorteile verschaffen?

AD: Man versucht, Open-Science-Praktiken eigentlich in jedem Projekt anzuwenden. Für mich war sehr wichtig, dass wir im Projekt „The Design of Preferential Trade Agreements“ den Datensatz früh veröffentlicht haben. Dieser Datensatz wird von sehr vielen Personen verwendet. Sei es in der Volkswirtschaftslehre von Ökonom:innen oder in der Politikwissenschaft. Das ist ein bisschen ein Alleinstellungsmerkmal geworden für die Forschung, die ich auch mache. Es ist aber nur ein Beispiel dafür, weil wir wirklich sehr offen mit unseren Daten umgegangen sind. Es wurde sehr viel zitiert, und weil wir eben so offen waren, haben wir sehr viele Rückmeldungen bekommen, die wir dann auch in neue Versionen des Datensatzes eingearbeitet haben. Der Datensatz wird also weiterhin aktuell gehalten und wir bessern kontinuierlich Fehler aus.

Sie sind im Editorial Board des Institute for Replication. Laut Website beinhaltet Ihre Rolle „Actively recruit and select replicators“. Wie finden Sie Leute, die replizieren?

AD: Das Team um den Chair des Institute for Replication Abel Brodeur stellt Listen zusammen von allen Zeitschriftenartikeln, die in den Topzeitschriften in der Ökonomie und in der Politikwissenschaft publiziert werden. Diese Personen prüfen in Schritt 1, ob ausreichend Replikationsmaterial vorhanden ist, sonst geht es gar nicht weiter. Wenn das Material nicht vorhanden ist, wird der Autor oder die Autorin kontaktiert, und gebeten, diese Materialien noch zur Verfügung zu stellen. Dann gibt es eine Liste von den Studien, die jetzt repliziert werden sollten. Und wir als Editorial Board gehen diese Liste durch und sehen uns Studien an, die in unseren Forschungsbereich fallen. Dann geben wir Namen weiter, die von Kanada aus vom Institute for Replication zentral angefragt werden sollen. Oft bekommen wir dann auch eine positive Rückmeldung.  

Wer begutachtet die Replikation?

AD: Die Replikationsstudie wird von Abel Brodeur und seinen Mitarbeiter:innen noch einmal durchgeschaut und geprüft, ob alles überhaupt passt. Dann wird sie mit der Bitte um Stellungnahme an die Autor:innen der ursprünglichen Studie geschickt.

Gibt es ein Patensystem für die replizierenden Nachwuchswissenschaftler:innen?

AD: Das ist eher der nächste Schritt, der kommen könnte. Es gibt jetzt Replication Games, bei denen sehr viele Personen in Gruppen versuchen, an einem Tag verschiedene Studien zu replizieren, ähnlich einem Hackathon in der Informatik – das ist eine ähnliche Idee. Da gibt es dann Professor:innen, die zusammen mit fünf Studierenden eine Studie replizieren. Das wäre dann wirklich ein „an die Hand nehmen“ und zeigen, wie man es konkret macht. Gestern fanden die Oslo Replication Games statt, bei denen Leute aus aller Welt zusammenkommen. Ein sehr erfolgreiches Format übrigens.

Inwieweit spielen Replikationen bei Ihnen in der Lehre oder in der Doktorand:innenausbildung eine Rolle?

AD: Wenn wir Forschungsdesigns für Studierende oder Doktorand:innen lehren, ist es ein zentrales Thema, dass alles transparent und reproduzierbar sein muss. Es wäre natürlich ideal, wenn man ein paar Wochen Zeit hätte und versuchen würde, eine Studie zu replizieren. Das wäre meiner Meinung nach ein ideales Training für die Studierenden.

Gibt es beim Institute for Replications auch eine politische Agenda? Dass man beispielsweise anregt, dass zum Beispiel mindestens zwei Replikationsstudien Teil einer kumulativen Promotion sein sollten? Oder dass es wirklich verpflichtender Teil der Ausbildung für Doktorand:innen wird?

AD: In die Richtung habe ich es noch nicht gehört. Aber die Idee finde ich spannend. Man muss halt immer die Balance finden zwischen dem Anteil, der in einer Dissertation oder einer Masterarbeit Neues schafft und dem Anteil, der repliziert. Spannend finde ich es. Man müsste sich dann genau überlegen, was man einfordern kann und welche Ausnahmen es geben müsste.

Es gibt Forscher:innen, die absolute Fans von Prä-Registrierungen sind. Sie führen als PRO-Argument an, dass der Methodenteil gestärkt wird, dass es den Publication Bias verringert und für Nachwuchswissenschaftler:innen zum Teil mit einer Publikationszusicherung verbunden ist. Auf der anderen Seite gibt es Zweifler:innen, die sich in ihrer Flexibilität gebremst sehen und angeben, Prä-Registrierungen gingen zulasten explorativer Elemente. Welche Erfahrungen haben Sie mit Prä-Registrierungen?

AD: Zuerst einmal glaube ich, sind Prä-Registrierungen der Weg in die Zukunft. Wir müssen prä-registrieren. Etwas zu replizieren ist okay, aber wir wissen nicht, wie viel p-Hacking stattgefunden hat, wenn das nicht prä-registriert wurde. Ich kann das p-Hacking replizieren, und es kommt das selbe Resultat raus. Das Problem kann ich so nicht lösen. Deshalb glaube ich, dass wir unsere Studien prä-registrieren müssen. Jetzt spielen natürlich unterschiedliche Faktoren eine Rolle. Wie schaut das genau aus? Wie viele Hypothesen formuliert man zum Beispiel? Ich habe Prä-Registrierungen gesehen mit vierzig Hypothesen. Das bringt nichts und ist auch nur ein Stochern im Nebel.

Dann haben Sie die Frage der Flexibilität angesprochen. Wie geht man damit um, wenn die Ergebnisse zum Beispiel nicht den Hypothesen entsprechen? Verwirft man dann alles? Dann wird es aber eigentlich implizit ein p-Hacking, weil die Studien verschwinden, die das nicht zeigen. Und die, die es zufällig zeigen, werden publiziert. Das ist auch eine Art von p-Hacking, nur eine andere Art, über ganz viele Forscher:innen und viele Studien hinweg. Auch das ist schwierig. Dann stellt sich die Frage nach dem richtigen Zeitpunkt. Wann muss ich die Prä-Registrierung einreichen? Wenn ich einen Trial Datensatz mit 1.000 Antworten vor mir liegen habe, sehe ich natürlich schon sehr viel. Ist vor oder nach dem Trial ein guter Zeitpunkt? Hier gibt es noch keine klaren Regeln. Wir sind alle noch am Rumprobieren, was eigentlich das Ideale ist. Die Publikationszusage, die Sie angesprochen haben, gibt es zumindest in den Politikwissenschaften nur in sehr seltenen Fällen. Es gibt eine Prä-Registrierung und danach muss man sich das Journal suchen. Für Metaanalysen wäre das natürlich super, wenn nach Prä-Registrierung auch insignifikante Ergebnisse veröffentlicht werden würden.

Machen Sie standardmäßig eine Prä-Registrierung, wenn Sie empirisch arbeiten?

AD: Bei experimentellen Studien habe ich mir das inzwischen angewöhnt. Das ist für mich zum Standard geworden. Anders ist es noch bei Arbeiten mit Beobachtungsdaten, da bin ich mir auch nicht sicher, wie das überhaupt funktionieren sollte. Auch bei ein paar experimentellen Studien ist es teilweise schwierig, das zu machen. Ich habe zum Beispiel ein Experiment mit Mitgliedern von Parlamenten gemacht, und ich weiß vorher nicht, wie die Response Rate ausschaut. Jeder Schritt war ein Probieren und wenn man der erste ist, der so was versucht, dann weiß man den Weg davor nicht und dann kann man es nicht richtig prä-registrieren. Also da gibt es so verschiedene Bereiche, wo ich es auch persönlich schwierig gefunden habe, damit umzugehen.

Was sind Ihrer Meinung nach die Vorteile von Prä-Registrierungen für unterschiedliche Karrierestufen?

AD: Ich glaube, das ist unabhängig von der Karrierestufe. Ich bin auch schon einige Jahre im Geschäft und man trifft immer mal zu schnelle Entscheidungen, geht ins Feld und ist danach schlauer. Aktuell habe ich mit einem Dissertanten und einem PostDoc ein Experiment gemacht, das wir prä-registriert haben. Da bekommen wir in den nächsten Tagen die Daten. Das Interessante daran war, dass wir die Prä-Registrierung auf Konferenzen schon vorgestellt haben. Bevor wir ins Feld gegangen sind, haben wir uns Kommentare geholt von Personen, haben diskutiert und das war extrem nützlich. Da haben wir schon viel Input dafür bekommen. Das ist etwas, was ich wirklich auch für andere Projekte mitnehmen möchte.

Prä-registrieren Sie bei Open Science Framework? Und empfehlen Sie das auch Ihren Doktorand:innen?

AD: Ich bin inzwischen zu Open Science Framework übergegangen. Das empfehle ich auch den Doktorand:innen. Für die Doktorand:innen ist ein OSF-Template auch eine große Hilfe. Sie können prüfen, ob sie an alles gedacht haben, bevor sie ins Feld gehen. Es hilft enorm, sich über das Forschungsdesign klar zu werden, bevor ich die Studie beginne.

Welche Rolle spielen Prä-Registrierungen in Ihrer Fachdisziplin?

AD: Im Bereich der experimentellen Forschung wird es einfach bei uns zum Standard. Vor drei, vier Jahren hätte man ein Experiment gemacht und da vielleicht noch gar nicht daran gedacht. Im Jahr 2022 ist das dann ganz normal.

Wie kam es, dass sich das so schnell durchgesetzt hat?

AD: Das ist eine gute Frage. Diskutiert wird das Problem der Nicht-Replizierbarkeit schon länger. Es wurde irgendwann deutlich, dass es nur eine Lösung für das Problem geben kann. Nämlich, dass wir im Vorfeld die Studien prä-registrieren und die verschiedenen Operationalisierungs-Schritte so weit wie möglich im Vorfeld klar darlegen. Damit wir als Forscher:innen danach nicht so viele Degrees of Freedom haben. Natürlich gab es auch einige wenige Journals, die auf der Welle ganz weit vorne mitgeritten sind und gesagt haben, sie werden keine Studien mehr akzeptieren, die nicht prä-registriert wurden. Sobald das ein paar Zeitschriften machen, die auch wichtig für die Disziplin sind, dann wird es zumindest breit diskutiert. Und dann gibt es kein Entrinnen mehr.

Legen die Zeitschriften eine Art Regelwerk fest oder gibt es in Ihrem Fach Akteure, die sagen, wie es laufen muss?

AD: Soweit ich weiß, gibt es in diesem Bereich noch kein gutes Regelwerk. Auch bei den Journals ist es noch relativ vage. Vielleicht sollte man nicht zu früh Regeln festsetzen, bevor nicht ein bisschen ausprobiert wurde und wir sehen, wie funktioniert das, was funktioniert am besten etc. Dann kann man das Regelwerk festsetzen.

Unter Open Science werden verschiedenste Praktiken gefasst, also Veröffentlichungen im Open Access, Veröffentlichen der Daten und des Codes, Prä-registrieren bis hin zu Wissenschaftskommunikation an außerakademische Anspruchsgruppen. Wo sehen Sie den Entwicklungsstand aus Ihrer Sicht?

AD: Alles gesagt ist wahrscheinlich nie. Ich glaube, wenn wir mit der Prä-Registrierung durch sind, sind wir auf einem sehr reifen Stand. Bisher habe ich noch immer Lücken gesehen, weil eben dieses p-Hacking möglich war. Ich sehe noch ein großes Problem: Wenn ich mit Daten von Statistikämtern unterschiedlicher Länder arbeiten will, zeigen sich große Lücken. Einige Statistikämter geben die Daten gar nicht heraus, andere nur an Wissenschaftler:innen mit Wohnsitz in ihrem eigenen Land – zum Beispiel in Schweden. Oder ich bekomme die Daten, dann aber nur mit ganz strikten Auflagen. Österreichische Daten beispielsweise muss ich hinterher wieder löschen. Und in Deutschland muss ich für die Daten bezahlen. Wenn Leute diese Studienergebnisse replizieren wollen, müssten sie extra Geld hinlegen, um an die Daten heranzukommen. So ist es maximal unwahrscheinlich, dass das jemand repliziert.

Interessantes Thema, warum kann man Ihrer Meinung nach Daten nicht für Forschungszwecke zur Verfügung stellen?

AD: Sie haben mit Harald Oberhofer gesprochen, der zusammen mit anderen die „Plattform Registerforschung“ für generell besseren Zugang Daten aus der österreichischen Verwaltung gegründet hat. Tatsächlich gibt es nun ein Austrian Micro Data Centre, das Forscher:innen Zugang zu öffentlichen Daten geben soll. Ich habe einen Dissertanten, den ich auf diese Möglichkeit hingewiesen haben. Allerdings waren die Einschränkungen endlos und die Möglichkeiten letztlich auch sehr beschränkt. Es gibt also offensichtlich Spieler, die das sehr stark bremsen.

Gibt es einen Akteur in diesem ganzen Wissenschaftskosmos, dem Sie die Hauptverantwortung zuschreiben?

AD: Interessanterweise, die Personen, die das vorantreiben, sind meist nicht die Fachgesellschaften oder Journals, sondern einflussreiche Einzelpersonen, die das Thema aufgreifen, diese Idee vorantreiben. Das wird dann aufgegriffen von anderen und dann kommt die Welle in Bewegung. Dann bewegen sich zuerst einmal einige Zeitschriften und zum Schluss die Fachgesellschaften, wo noch viele Blockierer unterwegs sind.

Wie sehen Sie die zukünftige Entwicklung von Open Science, werden Prä-Registrierungen irgendwann zum Standard?

AD: Ohne Druck wird so etwas nie funktionieren. Ich glaube, da ist auch ein gewisser Druck von Seiten der Journals notwendig, dass die das wirklich einfordern. Die Fachgesellschaften müssen das umsetzen. Die Personen wie ich, die Dissertant:innen unterrichten, müssen das entsprechend weitergeben, dass es Standard ist. Ich glaube aber, dass es sich mittelfristig bei jenen komplett durchsetzen wird, die den Anspruch haben, international zu den Top-Debatten beizutragen. Wenn man die Daten o.ä. nicht zur Verfügung stellt, wird man nicht ernst genommen werden. Großen Handlungsbedarf sehe ich zudem im Bereich der qualitativen Forschung in der Politikwissenschaft, da ich mich da mit Problemen anderer Art auseinandersetzen muss. Wie anonymisiere ich Interviews, wenn ich über konkrete Sachen spreche, die vielleicht nur eine Person wissen kann. Da wird aber auch schon aus der qualitativen Forschung heraus daran gearbeitet, wie ich das noch transparenter darstellen kann.

Was wären so Ihre Tipps für Nachwuchsforschende neben der Transparenz?

AD: Ich empfehle, von Beginn an, wenn man ein Projekt beginnt, alle Entscheidungen aufzuschreiben, Skripte zu produzieren, die replizierbar sind und die man selbst in ein paar Jahren noch lesen kann. Und Daten so zu generieren, dass man sie dann auch veröffentlichen kann. Also einfach diesen ganzen Prozess, der jetzt von Open Science kommt, von Beginn an so zu leben und umzusetzen. Wenn man das von Anfang an tut, wenn man einmal in die Gewohnheit hineingekommen ist, es so zu machen, dann ist es auch am einfachsten.

Vielen Dank!

Das Interview wurde am 28. Oktober 2022 geführt von Dr. Doreen Siegfried.

Über Prof. Dr. Andreas Dür

Andreas Dür ist Professor für Internationale Politik am Fachbereich Politikwissenschaft der Universität Salzburg. Er promovierte 2004 am Institut für Politikwissenschaft und Soziologie des Europäischen Hochschulinstitutes in Florenz. Bevor er seine jetzige Tätigkeit aufnahm, war er postdoktoraler wissenschaftlicher Mitarbeiter am Mannheimer Zentrum für Europäische Sozialforschung und Lecturer am University College Dublin.

Prof. Dr. Andreas Dür ist im Editorial Board des Institutes for Replication. Das Institute for Replication (I4R) setzt sich für die Verbesserung der Glaubwürdigkeit der Wissenschaft ein, indem es Forschungsergebnisse in führenden akademischen Zeitschriften systematisch reproduziert und repliziert.

Kontakt: https://sites.google.com/site/andduer

ORCID-ID: https://orcid.org/0000-0001-6621-7243

Twitter: https://twitter.com/andduer

LinkedIn: https://www.linkedin.com/in/andreas-d%C3%BCr-0909298b/

ResearchGate: https://www.researchgate.net/profile/Andreas-Duer

Zurück zum Open-Science-Magazin