Replikation als Schlüssel zur Transparenz
Ein Interview mit Chuan Liu über die Rolle des Journal of Comments and Replications in Economics
Foto: Maxim Schulz
Heutzutage gibt es bereits einige wissenschaftliche Zeitschriften, die Replikationsstudien veröffentlichen. Was ist die Idee hinter dem Journal of Comments and Replications in Economics (JCRE)? Warum eine solche Zeitschrift?
CL: Einige Zeitschriften bieten zwar die Veröffentlichung von Replikationsstudien an, wie beispielsweise das Journal of Applied Econometrics oder mehrere Journals, die Sonderausgaben herausgeben, aber diese Arbeiten konkurrieren oft um den begrenzten Platz mit der Originalforschung. Außerdem zögern viele Fachzeitschriften, Replikationen zu veröffentlichen. Daher bietet unser Journal of Comments and Replications in Economics (JCRE) einen Platz für Replikations- und Kommentare, um den konstruktiven wissenschaftlichen Dialog zwischen Forscher:innen zu fördern. Ob die Arbeiten die ursprünglichen Studienergebnisse bestätigen oder nicht, spielt bei der Bewertung der Einreichung keine Rolle.
Welche Vorteile bietet JCRE Autor:innen, die ihre Replikationsstudien bei Ihnen einreichen, verglichen mit anderen Zeitschriften?
CL: Bei JCRE sind unsere Herausgeber:innen besser mit der Replikationsarbeit vertraut, und wir versuchen, eine kürzere Turnover Time zu erreichen. Außerdem verlangen wir, wenn möglich, die Vorlage von Replikationspackages, das heißt der verwendeten Daten und des Codes. Wir überprüfen diese Packages im Rahmen einer internen Datenprüfung auf Reproduzierbarkeit.
Wer stellt die Ressourcen für JCRE zur Verfügung?
CL: JCRE wird derzeit gemeinsam von der ZBW und der Joachim Herz Stiftung finanziert. Eine frühere Förderung, die bei der Entwicklung und Umsetzung der Zeitschriftenidee half, kam von der DFG. Als Managing Editor führe ich die operativen Aufgaben der Zeitschrift zusammen mit einer studentischen Hilfskraft und mit Kolleg:innen an der ZBW durch, die für die infrastrukturellen Ressourcen wie beispielsweise das Einreichungssystem, die Website und das Journal Data Archive zuständig sind. Verantwortlich für die Auswahl der Artikel für JCRE sind Robert W. Reed von der University of Canterbury in Neuseeland als Herausgeber sowie Dennis Wesselbaum von der University of Otago in Neuseeland und Marianne Saam von der ZBW als Mitherausgeber:innen.
Wie stellen Sie die Qualität der veröffentlichten Kommentare und Replikationen sicher, insbesondere wenn es um die Reproduzierbarkeit der Ergebnisse geht?
CL: Zunächst wenden wir die Standardverfahren von peer-reviewed Journals an. Dazu gehören Screening des Herausgeberteams, Peer Review und Entscheidungen der Herausgeber:innen, die das Peer Review berücksichtigen. Wenn die Bewertung in diesem Prozess positiv ausfällt, wird das Replikationspackage von einem studentischen Mitarbeiter überprüft, um sicherzustellen, dass das Replikationspackage „push-button reproducible”, also auf Knopfdruck replizierbar ist und das Ergebnis wie in der endgültigen Version der Einreichung reproduziert werden kann. Mit „push-button reproducible“ meinen wir, dass man nur ein Skript ausführen muss, um alle Ergebnisse zu erhalten. Diese Funktion erfordert in der Regel eine sorgfältige Gestaltung der Verzeichniseinstellung und des Master-Skripts, um andere Code-Skripte auszuführen. In den meisten Fällen verwendet das Herausgeberteam die Vorschläge des studentischen Mitarbeiters, um einen Data Check Report zu erstellen und den Autor:innen bei der Verbesserung ihres Codes und seiner Beschreibung zu helfen. Wenn aus plausiblen Gründen kein Zugriff auf die Daten möglich ist, wird ein Code Check durchgeführt, ohne dass eine Reproduzierbarkeit per Knopfdruck erreicht wird.
Welche Kriterien werden zur Bewertung der Qualität von Replikationsstudien herangezogen?
CL: Die Zeitschrift veröffentlicht Reproduktionen, Replikationen mit anderen Methoden oder Daten sowie Kommentare zu den ursprünglich veröffentlichten Arbeiten. Die Originalstudie sollte in einer anerkannten wissenschaftlichen Zeitschrift veröffentlicht worden sein. Für Replikationen erwarten wir ein Standardformat. Es umfasst einen kurzen Überblick über die ursprüngliche Studie und ihre Bedeutung, eine Replikation der Ergebnisse der ursprünglichen Studie, wobei die Ergebnisse der ursprünglichen Studie und die entsprechenden Schätzungen der Replikationsstudie in einer Tabelle nebeneinander dargestellt werden, eine Darstellung der Robustheitsprüfungen (falls die Replikation solche enthält) und eine Zusammenfassung der Ergebnisse, die bestätigt oder nicht bestätigt wurden. Bei Kommentaren müssen die Autor:innen dokumentieren, dass der Beitrag von der Zeitschrift abgelehnt wurde, in der die Originalstudie veröffentlicht wurde. Auf diese Weise wollen wir den wissenschaftlichen Austausch in der Originalzeitschrift fördern, bevor eine Veröffentlichung in JCRE in Betracht gezogen wird. Abgesehen von den Leitlinien auf der Website gelten nur die Kriterien eines Standard-Peer-Reviews. Die Peer-Reviewer kommentieren die wissenschaftliche Qualität der Arbeit, und die Editoren und Co-Editoren berücksichtigen bei ihrer Entscheidung die Bewertungen aus Peer-Review und Data Check und Überarbeitungen als Reaktion auf die Bewertungen.
Ein besonderes Merkmal, das das JCRE von den meisten traditionellen Zeitschriften unterscheidet, ist, dass wir auch reine Reproduktionen veröffentlichen, die lediglich die ursprüngliche Analyse bestätigen. Wir sind der Ansicht, dass solche Veröffentlichungen wertvolle Informationen über die Gültigkeit der Forschung liefern. Solange die ursprüngliche Forschung einen bedeutenden Beitrag zur Forschung geleistet hat und die Reproduktion in einer transparenten Weise präsentiert wird, begrüßt das JCRE solche Einreichungen.
Wie wird das Engagement für Open Science am JCRE sichergestellt, insbesondere im Hinblick auf den Zugang zu Daten und die Reproduzierbarkeit von Studien?
CL: Wir arbeiten mit einer Dateninfrastruktur der ZBW, dem Journal Data Archive, zusammen und verlangen von den Autor:innen, dass sie ihre Datensätze, sofern rechtlich erlaubt, und Programmcodes dort hochladen und mit ausreichenden Informationen dokumentieren. Jedes Replikationspackage erhält einen Digital Object Identifier (DOI), einen dauerhaften Code, der online identifiziert werden kann. Alle Packages werden als Open-Source-Materialien unter der Creative Commons License-Attribution 4.0 International (CC BY 4.0) veröffentlicht.
Wie fördern Sie die wissenschaftliche Diskussion zwischen den Autor:innen der Originalstudien und den Autor:innen der Replikationsstudien?
CL: Im Rahmen des Begutachtungsverfahrens laden wir in der Regel eine:n der Originalautor:innen ein, als Gutachter:in zu fungieren. Wenn die Person damit einverstanden ist, informieren wir den/die Autor:in der Replikationsstudie darüber. In diesem Fall handelt es sich also um ein Single-Blind-Review. Nach der Veröffentlichung geben wir den Autor:innen der Originalstudie die Möglichkeit zu antworten und veröffentlichen ihre Antworten zusammen mit der Replikationsstudie auf unserer Publikationsseite. Wir sind der Meinung, dass diese Art der Kommunikation den einzelnen Arbeiten und Diskursen zugutekommt und eine Atmosphäre der Offenheit und Integrität in der Forschung schafft.
Welche Maßnahmen ergreift das JCRE, um sicherzustellen, dass alle Beiträge in einem höflichen und wissenschaftlichen Ton verfasst sind?
CL: Wir haben kürzlich einen Abschnitt über nicht wertende Sprache in unsere Einreichungsrichtlinien aufgenommen. Auf diese Weise erkennen die Autor:innen die der wissenschaftlichen Analyse innewohnende Subjektivität an und tragen zu einem offeneren und respektvolleren wissenschaftlichen Dialog bei. Lassen Sie mich das erklären. Die replizierende Person ist möglicherweise nicht in der Lage, die Ergebnisse der Originalarbeit zu reproduzieren. Bis zu einem gewissen Grad können Meinungsverschiedenheiten zu unangenehmen Gefühlen auf beiden Seiten führen. Wir versuchen jedoch, den Gedanken zu fördern, dass es bei der Replikation nicht darum geht, bestimmte Autor:innen anzugreifen. Wenn eine Studie nicht vollständig repliziert werden kann, kann dies auf unbeabsichtigte Programmierfehler zurückzuführen sein, die den meisten Forschenden irgendwann in ihrer Arbeit unterlaufen. Auf solche faktischen Fehler sollte hingewiesen werden, ohne die Autor:innen zu beschuldigen. Ein (hypothetisches) Beispiel für einen solchen Fehler könnte sein, dass in der Originalarbeit eine Dummy-Variable beschrieben wird, die kleinen Unternehmen den Wert 0 und großen Unternehmen den Wert 1 zuweist, während der Code großen Unternehmen den Wert 0 zuweist. Insbesondere dann, wenn die Meinungsverschiedenheiten über solche sachlichen Fehler hinausgehen, sollten die Autor:innen von Replikationen auf die Subjektivität ihrer Einschätzung hinweisen und es den Leser:innen überlassen, die Stichhaltigkeit beider Seiten des Arguments zu beurteilen.
Welche Schritte unternehmen Sie, um das Bewusstsein und die Akzeptanz von Replikationsstudien in der Wirtschaftsforschung zu erhöhen?
CL: Wir freuen uns über die Unterstützung von Forschenden in unserem Beirat, die sehr prominente empirische Wirtschaftswissenschaftler:innen und Pionier:innen auf dem Gebiet der Replikation sind. Wir wenden uns auch an Promotionsbetreuer:innen in führenden Wirtschaftsfakultäten und bitten sie, ihre Studierenden zu ermutigen, ihre Replikationsarbeiten bei unserer Zeitschrift einzureichen. Wir planen auch Sonderausgaben mit einem besonderen Schwerpunkt. Wir sind Teil eines, wie ich es nennen würde, entstehenden Replikations-Ökosystems in den Wirtschaftswissenschaften, das derzeit sehr dynamisch ist, mit Initiativen wie dem Institut für Replikationen unter der Leitung von Abel Brodeur von der Universität Ottawa in Kanada. Wir sind optimistisch, dass dieses Ökosystem in seiner Gesamtheit dabei ist, das Bewusstsein und die Akzeptanz zu erhöhen.
Welche Arten von Analysen oder Forschungsergebnissen sehen Sie am häufigsten in Einsendungen an JCRE?
CL: Neben einigen Replikationsarbeiten, die die Reproduzierbarkeit der Originalstudien bestätigen, stellen viele fest, dass die Wahl der empirischen Spezifikationen und Variablen zu ganz anderen Ergebnissen führen oder die ursprünglich signifikanten Ergebnisse weniger signifikant machen kann. Bei einigen Originalstudien handelt es sich um wichtige bahnbrechende Arbeiten oder um neuere Veröffentlichungen mit wichtigen politischen Implikationen. Solche neuen Erkenntnisse, die in unserer Zeitschrift veröffentlicht werden, werden andere Forscher:innen dazu ermutigen, solche Themen eingehender zu untersuchen und zur Robustheit und Glaubwürdigkeit der Wirtschaftsforschung beizutragen.
Wie hat sich die Einreichung und Veröffentlichung von Replikationsstudien seit der Gründung des JCRE entwickelt?
CL: Als relativ neue Zeitschrift gewinnen wir an Schwung und ziehen zunehmend Beiträge an. In diesem Jahr wurden bisher sieben Arbeiten in unserer Zeitschrift veröffentlicht. Sechs davon sind Replikationsstudien, und eine ist ein Kommentar. Wir hoffen, dass wir in zwei oder drei Jahreneine stabile Anzahl von 15-20 Veröffentlichungen haben werden.
Welche Rolle sehen Sie für Künstliche Intelligenz bei der Unterstützung von Replikationsstudien, insbesondere bei der Automatisierung der Datenanalyse und der Überprüfung der Reproduzierbarkeit von Forschungsergebnissen?
CL: Mit Blick auf die Zukunft sehen wir Potenzial für den Einsatz von Künstlicher Intelligenz, um die Effizienz der Überprüfung der Reproduzierbarkeit zu verbessern. KI könnte auch neue Ideen für die wissenschaftliche Replikation hervorbringen, wie beispielsweise das Experimentieren mit verschiedenen empirischen Spezifikationen oder die Verwendung neuer Datensätze.
Wie wollen Sie das JCRE in den kommenden Jahren weiterentwickeln und seine Rolle in der wirtschaftswissenschaftlichen Forschung stärken?
CL: Unsere wichtigsten Schritte für die nächsten Jahre sind, mehr Beiträge zu gewinnen, zum Beispiel durch die erwähnten Sonderausgaben, und die Kontakte innerhalb der Replikationsgemeinschaft zu vertiefen.
Herzlichen Dank für das Gespräch!
Das Interview wurde geführt am 18. Oktober 2024 von Dr. Doreen Siegfried.
Über Chuan Liu:
Chuan Liu ist Managing Editor des Journal of Comments and Replication in Economics (JCRE). Er war seit September 2021 zunächst Gastwissenschaftler an der ZBW – Leibniz-Informationszentrum Wirtschaft und Doktorand an der Professur für Digitale Wirtschaftswissenschaft bei Prof. Dr. Marianne Saam.. Seine Forschungsschwerpunkte liegen in den Bereichen Wirtschaftswachstum, Digitalisierung, globale Wertschöpfungsketten sowie statische und dynamische Input-Output-Analysen. Seit Februar 2024 ist er für JCRE tätig.