Präregistrierung erleichtert die Teamarbeit

Open-Science-Erfahrungen von Franz Prante

Sie haben im vergangenen Jahr beim Leibniz Open Science Day in Berlin einen Vortrag über Metaanalysen und Präregistrierung gehalten. Dabei haben Sie die Bedeutung der Präregistrierung im Kontext von Metaanalysen hervorgehoben. Welche zentralen Probleme soll dieses Open-Science-Verfahren aus Ihrer Sicht in der ökonomischen Forschung adressieren?

FP: Ich habe zwei zentrale Aspekte hervorgehoben. Erstens die Vorteile für die wissenschaftliche Gemeinschaft. Präregistrierungen sorgen für Transparenz und Reproduzierbarkeit, weil Hypothesen und Methoden bereits zu Beginn festgelegt werden. Damit lassen sich problematische Praktiken wie Selective Reporting, p-Hacking, HARKing, also „Hypothesizing After the Results are Known“ oder andere Formen der ergebnisverzerrenden Selektion eindämmen. Wichtig ist auch die Unterscheidung zwischen vorab formulierten konfirmativen und explorativen Hypothesen. Letztere sind ebenso wichtiger Bestandteil von Wissenschaft, sollten aber klar als datenbasiert kenntlich gemacht werden.

Zweitens bringt eine Präregistrierung auch Vorteile für den eigenen Forschungsprozess. Sie zwingt dazu, Forschungsfragen, Hypothesen, Datenbasis und Methoden frühzeitig zu präzisieren. Dadurch werden mögliche Probleme schneller erkannt, die Diskussion im Team gefördert und die Qualität der Projekte insgesamt verbessert.

Was unterscheidet eine Präregistrierung, wenn ich eine klassische Studie durchführe, von einer Metaanalyse?

FP: Im Grundsatz ist der Gedanke derselbe: Es geht um Transparenz und Nachvollziehbarkeit. Aber es gibt keine „One-size-fits-all“-Lösung. Bei einem klassischen Experiment ist das Design meist relativ klar, von der Auswahl der Proband:innen bis zur Auswertung. Hier lässt sich der Plan weitgehend so umsetzen, wie er zu Beginn festgelegt wurde. Bei Metaanalysen ist die Situation komplexer. Sie bestehen aus vielen Arbeitsschritten, deren Verlauf sich nicht vollständig vorhersagen lässt. Schon die Suche nach Literatur wirft Fragen auf: Welche Datenbanken werden einbezogen, welche Suchterme gewählt, wie vermeidet man blinde Flecken? Dabei ist anfangs unklar, wie viele Studien gefunden werden, welche davon relevant sind und ob ihre Ergebnisse vergleichbar sind. Auch bei der Kodierung der Variablen oder der Berechnung und Standardisierung von Effektgrößen treten häufig unerwartete Probleme auf, die Anpassungen erfordern.

Für die Präregistrierung bedeutet das: Man sollte so präzise wie möglich dokumentieren, welche Schritte geplant sind, zugleich aber offenlegen, wo Flexibilität nötig ist. Man muss sich selbst darüber im Klaren sein, dass man bei einer Metaanalyse nicht alles antizipieren kann. In unserem Fall haben wir beschrieben, wie wir bestimmte Daten auswerten würden – allerdings unter der Bedingung, dass diese Informationen tatsächlich in den Studien vorhanden sind. Je genauer man solche Szenarien im Vorfeld durchspielt, desto besser. Trotzdem bleiben in Metaanalysen stets Entscheidungen, die erst im Forschungsprozess getroffen werden können.

Angenommen, Sie definieren im Vorfeld den Suchprozess und die Keywords, mit denen Sie in den Datenbanken arbeiten möchten. Nun zeigt sich bei den ersten Ergebnissen, dass viele Treffer nicht relevant sind. Würden Sie dann bereits in der Präregistrierung festhalten, wie Sie in solchen Fällen vorgehen, etwa indem Sie Suchbegriffe verfeinern oder einen präziseren Suchstring einsetzen?

FP: Ja, genau. Dieses Problem haben wir tatsächlich so gelöst, und ich würde das auch empfehlen, indem wir den Prozess vor der Präregistrierung mit Pilotsuchen getestet haben. In unserer Präregistrierung ist das dokumentiert, unter dem Abschnitt Stage of Synthesis, Punkt Piloting of Study Selection Process. Dort beschreiben wir, welche Datenbanken wir nutzen und dass wir verschiedene Suchbegriffe probeweise eingesetzt haben. Wir haben uns beispielsweise zunächst nur die erste Seite bei Google Scholar angeschaut, um zu prüfen, ob überhaupt relevante Ergebnisse erscheinen. Das Vorgehen wird auch in den einschlägigen Guidelines empfohlen: Bevor man sich auf einen finalen Suchstring festlegt, sollte man testen, ob die gewählten Begriffe tatsächlich funktionieren. Wichtig ist dabei, dass man in dieser Testphase noch keine Daten aus den Studien selbst extrahiert.

Sie haben eingangs von Vorteilen für die wissenschaftliche Gemeinschaft und für die Forschung im Allgemeinen gesprochen, aber auch von Vorteilen für die einzelne Wissenschaftlerin oder den einzelnen Wissenschaftler. Welche Erfahrungen haben Sie persönlich gemacht?

FP: Für mich und auch für jüngere oder weniger erfahrene Teammitglieder war besonders wichtig, die Vogelperspektive einzunehmen. Metaanalysen sind sehr umfangreich und dauern oft viele Monate, manchmal länger als ein Jahr. Da hilft es, von Beginn an zu verstehen, warum wir bestimmte Schritte machen und wie sie später zusammenhängen. Das hat den Austausch im Team gefördert und schnell zu Aha-Momenten geführt, gerade im Zusammenspiel zwischen erfahrenen und jüngeren Kolleg:innen.

Ein weiterer Vorteil zeigte sich, als wir im Verlauf unserer beiden präregistrierten Projekte neue Teammitglieder hinzugezogen haben. Durch unsere umfassende Dokumentation und unseren Pre-Analysis-Plan konnten sie sofort produktiv einsteigen und uns unterstützen, etwa bei der Codierung von Primärstudien. Das war entscheidend, weil wir durch KI-gestützte Suche viel mehr relevante Studien identifiziert haben, als ursprünglich erwartet. Ohne diese Struktur hätten wir die zusätzlichen Datenmengen kaum bewältigen können. Mit der Präregistrierung war es jedoch möglich, weitere Kolleg:innen reibungslos und unkompliziert einzubinden, die genau nachvollziehen konnten, woran wir arbeiten.

Zur KI-gestützten Suche: Heißt das, Sie haben über Tools wie ChatGPT einfach den Auftrag gegeben „Finde mir Literatur“? Oder wie sind Sie konkret vorgegangen?

FP: Als wir die Suche durchgeführt haben, war ChatGPT gerade erst erschienen, und die Anwendungsmöglichkeiten noch unklar. Wir haben deshalb mit ASReview gearbeitet. Das ist eine spezialisierte Open-Source-Software, bei der wir der KI zunächst ein sogenanntes Prior Set geben – also eine kleine Auswahl an Studien, die wir als relevant einschätzen, basierend auf Titeln und Abstracts. Anschließend erhält die KI den gesamten restlichen Datensatz mit der Aufgabe, die Studien nach Relevanz zu sortieren. Die Software schlägt uns dann diejenigen Arbeiten vor, die sie für besonders relevant hält. Wir Forschenden prüfen diese Vorschläge und geben Rückmeldung, sozusagen als researcher in the loop: „Das war eine richtige Entscheidung“ oder „Das war nicht passend.“ Auf dieser Grundlage lernt die KI kontinuierlich weiter und verfeinert die Sortierung. So verbessert sich das Ranking Schritt für Schritt, bis schließlich kaum noch relevante Studien im Restdatensatz verborgen sind.

Haben Sie auch die Prompts veröffentlicht?

FP: Streng genommen handelt es sich nicht um Prompts, da ASReview kein ChatBot ist. Was wir veröffentlicht haben, sind die Datensätze, die wir der KI als relevant markiert haben. Zudem ist dokumentiert, welcher technische Algorithmus verwendet wurde. Auch der gesamte Entscheidungsverlauf ist zugänglich. Über die Projektdateien kann man den gesamten Prozess nachvollziehen und das Projekt vollständig einsehen.

Zurück zu den Präregistrierungen: Gibt es Situationen, in denen eine Präregistrierung nicht sinnvoll ist?

FP: Grundsätzlich halte ich Präregistrierungen immer für möglich und sinnvoll, wenn man sie richtig versteht. Sie ist keine Zwangsjacke. Abweichungen vom ursprünglichen Plan sind erlaubt, solange sie begründet und transparent gemacht werden. In jedem Forschungsvorhaben gibt es ja immer eine Ausgangsfrage, Hypothesen und eine erste Vorstellung davon, wie man die Daten erheben oder auswerten möchte. Solange das gegeben ist, lässt sich auch ein Anfangsplan formulieren.

Die entscheidende Frage ist weniger, ob man ein Forschungsprojekt präregistrieren kann, sondern ob und wann man den Pre-Analyses Plan auf einer öffentlichen Plattform wie OSF registriert. In unseren Projekten haben wir mehrere Monate an der Präregistrierung gearbeitet, Szenarien durchgespielt und den Plan zur Reife gebracht, bevor wir ihn veröffentlicht haben. Veröffentlicht man zu früh, etwa wenn das Projekt nur vage umrissen ist und man vieles noch nicht durchdacht hat, kann das tatsächlich hinderlich sein, weil es den kreativen Prozess zu stark einschränkt. Sinnvoll ist es hingegen, von Beginn an mit der Strukturierung zu starten, aber den Moment der Veröffentlichung sorgfältig zu wählen. Das Entscheidende ist auch hier wieder, dass man vor der Präregistrierung keine Datenauswertungen vornimmt, welche die Hypothesengenerierung oder die Methodenwahl beeinflussen können.

Wenn wir über Standardisierung und die Etablierung von Präregistrierungen sprechen: Welche Rolle spielt aus Ihrer Sicht die internationale Vernetzung?

FP: Internationale und institutionelle Vernetzung sollte beim Thema Open Science und generell Präregistrierung eine größere Rolle spielen. Es braucht einen kontinuierlichen Austausch darüber, was Best Practices sind, wie Guidelines aussehen könnten und welche Empfehlungen Forschende unterstützen können. Wichtig ist aus meiner Sicht, das Thema zunächst als kulturellen Wandel anzuerkennen. Mit verbindlichen Vorgaben tue ich mich noch schwer. Ich glaube, wir sind kulturell noch nicht so weit, dass Präregistrierung in allen Bereichen selbstverständlich praktiziert wird. Ziel sollte sein, eine solche Selbstverständlichkeit schrittweise zu entwickeln. Dazu ist der internationale und interdisziplinäre Austausch unverzichtbar. Verpflichtende Regelungen können dagegen abschreckend wirken, wenn sie zu früh eingeführt werden. Es kommt stark auf den Kontext an: In experimentellen Designs ist die Praxis schon deutlich etablierter, dort lassen sich verbindliche Vorgaben möglicherweise leichter rechtfertigen. In anderen Bereichen sind wir noch nicht an diesem Punkt. Zudem droht bei unzureichenden Vorgaben die Gefahr, dass Präregistrierung als oberflächliches Signaling Device missbraucht wird. Das wäre falsch.

Ich dachte gar nicht an verpflichtende Standards, sondern eher an den internationalen Austausch. Wenn ein Institut zum Beispiel bereits eine Checkliste oder Guideline entwickelt hat, könnte man ja links und rechts schauen und sich daran orientieren.

FP: Das halte ich für absolut sinnvoll. Im Idealfall ist es eine Communityleistung, solche Instrumente weiterzuentwickeln. Dafür braucht es ganz klar auch den internationalen Austausch. Da bin ich absolut dafür.

Sie haben beim Leibniz Open Science Day 2024 auch ein Template vorgestellt. Was ist die Idee dahinter?

FP: Ziel des Templates ist es, Forschenden Orientierung zu geben und unsere eigenen Erfahrungen nutzbar zu machen. Es soll zeigen, wie man eine Präregistrierung für eine Metaanalyse konkret aufbauen kann und welche Punkte dabei zu beachten sind. Uns war wichtig, das nicht abstrakt zu halten, sondern speziell auf Metaanalysen in der Ökonomik zu beziehen. Natürlich gibt es bereits verschiedene Guidelines, etwa Reporting Guidelines für Metaanalysen oder Empfehlungen für qualitativ hochwertige Metaanalysen. Unser Ansatz verbindet solche bestehenden Vorlagen mit den Elementen für Präregistrierung und Pre-Analysis Plan sowie spezifischen Anforderungen aus der ökonomischen metaanalytischen Forschung. Auf diese Weise entsteht ein praxisnahes Instrument, das den Einstieg erleichtert und als Strukturhilfe im Forschungsprozess dienen kann.

Was braucht die ökonomische Forschung, damit Präregistrierung stärker ins Bewusstsein rückt und mehr zum Standard wird?

FP: Wenn man mit einer Methode wie der Metaanalyse beginnt, schaut man ohnehin in Guidelines und Literatur, um den Ablauf zu verstehen. Genau dort sollte Präregistrierung frühzeitig thematisiert werden als Option, die klare Vorteile bietet und gleichzeitig auf Anlaufstellen verwiesen werden, wo man sich weiter informieren kann. In manchen Disziplinen passiert das bereits und wird als wichtig erachtet. Entscheidend ist auch die Zugänglichkeit: Forschende brauchen klare, praktikable Guidelines, die Schritt für Schritt zeigen, wie man eine Präregistrierung umsetzt.

Wenn man noch größer denkt, geht es aber um einen kulturellen Wandel. Das Thema sollte schon in der wissenschaftlichen Ausbildung verankert sein, also am besten bereits im Studium. Warum nicht schon bei empirischen Bachelor- oder Masterarbeiten mit einem Pre-Analysis-Plan beginnen? So lernen Studierende früh, Forschungsprojekte strukturiert zu planen und Arbeitsschritte transparent zu dokumentieren. Das stärkt nicht nur die Qualität und Nachvollziehbarkeit, sondern auch die eigene Arbeitspraxis.

Ihr Template deckt verschiedene Abschnitte ab von den Forschungsfragen bis zum Analyseplan. Welche Teile bereiten nach Ihrer Erfahrung die größten Schwierigkeiten?

FP: Besonders aufwändig ist das Piloting des Datensuchprozesses. Das kostet viel Zeit, ist aber entscheidend, um später eine solide Basis zu haben. Ein weiterer anspruchsvoller Punkt ist die Standardisierung von Effektgrößen. Man muss im Vorfeld möglichst umfassend durchdenken, welche Fälle auftreten können, wie sich unterschiedliche Maße ineinander überführen lassen und wie man das dokumentiert. Das erfordert einiges an konzeptioneller Arbeit.

Hinzu kommt die Frage, wie Hypothesen getestet werden sollen und welche Analysen dafür geeignet sind. In der Metaanalyse gibt es eine große Bandbreite an statistischen Verfahren und Metaregressions-Methoden. Je nach Teamkapazität lässt sich nicht alles sofort abbilden, aber ein klares Verständnis, welche Methodik zu den vorliegenden Daten passt, ist wichtig. Auch das hat bei uns spürbar Zeit in Anspruch genommen.

Wenn wir das Thema Open Science allgemeiner betrachten: Was würden Sie jungen Forschenden raten, die gerade erst einsteigen und erste Erfahrungen mit offenen Wissenschaftspraktiken sammeln wollen?

FP: Mein wichtigster Rat wäre, von Anfang an auf konsequente Dokumentation zu achten. Das ist aus meiner Sicht der Kerngedanke hinter Präregistrierung, dass der gesamte Forschungsprozess transparent festgehalten wird. Das hilft nicht nur extern, sondern auch intern: Ich selbst möchte ja in einem Jahr noch nachvollziehen können, was ich heute gemacht habe. Dieses Mindset ist entscheidend. Dieser Punkt wird auch vom Psychologen Moin Syed gemacht, der einen empfehlenswerten Aufsatz zu hartnäckige Mythen über Open Science geschrieben hat (Syed 2024). Darüber hinaus würde ich empfehlen, sich zunächst in bestehende Ressourcen einzulesen – etwa über Plattformen wie OSF oder im deutschsprachigen Raum z.B. über die Initiative des Vereins für Socialpolitik zu Open Science. Dort findet man die Grundgedanken und Elemente offener Wissenschaft. Auf dieser Basis kann man dann konkrete Schritte in die Praxis umsetzen. Dabei gilt auch: Learning by Doing.

Mit Blick auf die AG Open Science des Vereins für Socialpolitik – an der auch die ZBW beteiligt ist: Ist Open Science aus Ihrer Sicht schon auf dem Weg in den Mainstream oder braucht es noch viel Überzeugungsarbeit?

FP: Ich sehe beides. Auf Konferenzen, die sich speziell mit Metaforschung befassen, ist das Bewusstsein für Transparenz und Open Science sehr stark ausgeprägt. Auf größeren und breiter angelegten wirtschaftswissenschaftlichen Konferenzen stoße ich jedoch noch oft auf Arbeiten ohne umfassende Dokumentation, teilweise auch in Journals, wo der zugrundeliegende Code nicht zugänglich ist. In Top-Journals ist die Lage besser: Dort gibt es klare Guidelines und die Pflicht, Daten und Code hochzuladen. Das ist positiv und treibt den Wandel voran. Aber es bleibt Luft nach oben, etwa bei der Dokumentation von Zwischenschritten. In unseren Metaanalysen haben wir jede einzelne Kodierungsentscheidung nachvollziehbar gemacht. Solche Praktiken könnten sich breiter etablieren. Deshalb sind Initiativen wie die des VfS und der ZBW oder Veranstaltungen wie der Leibniz Open Science Day so wichtig – auch um disziplinübergreifend Erfahrungen auszutauschen. Es muss sich für Forschende außerdem auch stärker lohnen, Arbeit in Open Science zu investieren. Wir hatten beispielsweise das große Glück, dass unser Projekt aufgrund der umfassenden Dokumentation vor kurzem mit dem SaxFDM Open Data Award ausgezeichnet wurde. Es sollte aber auch von Seiten der Universitäten und Drittmittelgeber stärkere Anreize für Open Science geben.

Wenn wir über den wissenschaftlichen Bereich hinausblicken: Fake Science, Paper Mills, KI-generierte Inhalte und gleichzeitig eine zunehmende Wissenschaftsskepsis – braucht es da nicht eine noch größere Verantwortung der Forschenden, Transparenz herzustellen, selbst wenn es individuell keinen direkten Nutzen bringen würde?

FP: Absolut. Wissenschaft wird gesellschaftlich hinterfragt, und Transparenz ist das wirksamste Gegenmittel. Fakes können per Definition nicht transparent sein. Würden sie offengelegt, wäre sofort erkennbar, dass es sich nicht um echte Wissenschaft handelt. Transparenz ist aber nicht nur gesellschaftlich wichtig, sondern auch für den wissenschaftlichen Fortschritt. Forschung lebt davon, dass wir auf den Arbeiten anderer aufbauen können. Ich mag außerdem das Vorbild der Open-Source-Softwareentwicklung: Dort ist es selbstverständlich, zu dokumentieren, Tests zu schreiben und Änderungen von mehreren Personen prüfen zu lassen. Dieses Community-Prinzip schützt vor Fehlern und Missbrauch. Ein ähnliches professionelles Selbstverständnis brauchen wir auch in der Forschung. Transparenz und Reproduzierbarkeit darf kein „Hobby“ sein, sondern muss als Kernaufgabe verstanden werden.

Vielen Dank!

Das Interview wurde am 15. September 2025 geführt von Dr. Doreen Siegfried.

Über Dr. Franz Prante:

Dr. Franz Prante ist wissenschaftlicher Mitarbeiter an der Technischen Universität Chemnitz. Derzeit arbeitet er an Metaanalysen zu den Effekten konventioneller Geldpolitik und Energiepreisänderungen. Außerdem forscht er zu den sozio-ökonomischen Effekten grüner Staatsausgaben.

Kontakt: https://franzprante.de/

LinkedIn: linkedin.com/in/franz-prante-30270839a

GitHub: https://github.com/franzprante

Im Interview genannter Aufsatz:

Syed, M. (2024). Three Persistent Myths about Open Science. Journal of Trial & Error, 4(2). https://doi.org/10.36850/mr11

Zurück zum Open-Science-Magazin