Replikationen sind harte Arbeit, die sich auszahlt

Prof. Dr. Jörg Peters über seine Open-Science-Erfahrungen

Wie sind Sie zum Thema Open Science gekommen?

JP: Ich begrüße natürlich den Trend zu mehr Empirie und zur Untersuchung kausaler Effekte – schließlich müssen wir Theorien und die Wirksamkeit von Politiken testen. Gleichzeitig habe ich in meiner eigenen Arbeit schon früh gemerkt, dass Methoden als Goldstandard gefeiert werden, die zwar in Sachen Kausalität stark sind, aber andere Schwächen aufweisen, die in der wissenschaftlichen Diskussion zu kurz kommen. So kam ich zum Thema der externen Validität von RCTs und generell der Replizierbarkeit von kausalen Studien. Das hat mich persönlich für das Thema Research Transparency sensibilisiert.

Wie setzen Sie Ihren Anspruch selbst um?

JP: Zum einen stellen wir, wie inzwischen die meisten, natürlich alle Daten, die wir für unsere Publikationen genutzt haben, im Nachhinein zur Verfügung, um Reproduzierbarkeit zu gewährleisten. Zum anderen präspezifizieren wir seit einigen Jahren bei allen Studien ex ante die Forschungsfragen in öffentlich zugänglichen Registern, zum Beispiel in der AEA RCT Registry, sodass unsere Hypothesen nachvollziehbar sind. Implizit haben wir das schon vorher getan, indem unsere Forschungsfragen in Projektanträgen klar dokumentiert waren. Ein dritter Bereich, den ich für wichtig halte, sind Replikationen. Das ganze Thema Research Transparency ergibt in meinen Augen nur dann Sinn, wenn Ergebnisse ex post auch tatsächlich überprüft werden. Wir brauchen mehr Replikation und mehr Diskussionen über Ergebnisse, auch nach deren Veröffentlichung.

Welche Erfahrungen haben Sie selbst mit Replikationen gemacht?

JP: Ich persönlich war bislang an drei Replikationen beteiligt, weitere sind in der Pipeline. Wir haben bei allen dreien Schwierigkeiten bei der Replizierbarkeit diagnostiziert. Zwei dieser Replikationen sind Reanalysen der Originaldaten – in einem Fall arbeiten wir jetzt gemeinsam mit den Original- Autorin*innen an einer Überarbeitung der ursprünglichen Publikation, im anderen haben wir den Kommentar bereits veröffentlicht. Im dritten Fall haben wir ein prominentes Experiment aus den USA in einem neuen Experiment in Deutschland repliziert. Die Originalautoren zeigten ursprünglich, dass sozialvergleichsbasierte Haushaltsenergieberichte eine kostengünstige klimapolitische Intervention in den USA sind. Wir werfen erhebliche Zweifel an der Wirksamkeit außerhalb der USA auf. Das macht natürlich die ursprüngliche Studie keineswegs wertlos, wirft aber doch Fragen hinsichtlich der Generalisierbarkeit und damit der globalen Politikrelevanz auf.

Welche Reaktionen bekommen Sie auf diese Arbeiten?

JP: Nach meinem Empfinden werden sie von der Research-Community interessiert aufgenommen. Fast alle Kolleg*innen begrüßen, was wir da tun. Wir haben positives Feedback von sehr einflussreichen Forscher*innen aus der internationalen Szene bekommen. Man kann vielleicht sogar sagen: Uns nehmen dadurch Leute wahr, die es ansonsten nicht täten. Doch sicherlich macht man sich mit Replikationen nicht nur Freunde. Manche fragen auch, ob man seiner Karriere oder sogar der Glaubwürdigkeit der Wissenschaft damit nicht schadet. Und tatsächlich gibt es in den Wirtschaftswissenschaften noch keine etablierte Replikationskultur. Hinzu kommt, dass es schwierig ist, eine Replikation außerhalb der Original-Journals zu veröffentlichen, die damit zum Gate Keeper der Kritik an ihren eigenen Studien werden. Ich denke, Replikationen und Kommentare gehören an die Öffentlichkeit und können dann natürlich auch wieder als Grundlage für weiterführende Diskussionen dienen: Nicht jede*r muss und wird sofort die Argumente teilen.

Was ist Ihr Antrieb, sich dennoch auf diese Arbeit einzulassen?

JP: Ich glaube daran, dass empirische Forschung die Politik verbessern kann – aber natürlich nur, wenn sie korrekt gemacht wird und replizierbar ist. Deshalb sind Replikationen und Open Science einfach elementare Bestandteile, gerade in der wirtschaftswissenschaftlichen Forschung, die sich oft in wichtige gesellschaftliche Prozesse einbringt. Wenn ich konkrete Zweifel an einer Studie habe, dann muss ich den Einfluss hinterfragen, auch öffentlich. Das ist für mich ein ganz gewöhnlicher Prozess des wissenschaftlichen Austauschs. Ich denke, dieses Statement würde wahrscheinlich sogar jede*r unterschreiben, aber in der Praxis wird es leider noch wenig umgesetzt.

Sie bemühen sich, in Ihrer Forschungsgruppe eine Kultur der Transparenz zu etablieren – wo setzen Sie da an?

JP: Neben dem kritischen Analysieren und Hinterfragen von fremder Forschung versuchen wir vor allem bezüglich unserer eigenen Forschung, eine Transparenzkultur zu leben. Wir verschweigen Schwierigkeiten bei unseren Studien nicht, diskutieren sie intern offen und dokumentieren sie auch nach außen. Man muss sich aber auch nichts vormachen: Der Druck, in Papieren auf die Pauke zu hauen, ist groß, wenn man sie gut veröffentlichen möchte. Ich will hier in dieser Hinsicht keinen Heiligenschein beanspruchen. Außerdem haben wir dazugelernt, manches Papier aus der Vergangenheit würde ich heute anders aufschreiben. Die zentralen Aussagen würden aber bestehen bleiben, denke ich. In diesem Sinne ist Open Science auch eher ein Prozess als ein Zustand.

Welche Rolle spielt für Ihre Arbeit der Austausch mit anderen Fachbereichen oder Institutionen?

JP: Den Austausch mit anderen Disziplinen halte ich für sehr wichtig, weil er unsere Arbeit um andere Perspektiven und Möglichkeiten erweitert. Beispielsweise arbeiten wir gemeinsam mit Ingenieur*innen an Projekten zum Infrastrukturausbau in Äthiopien. Viele Fragestellungen, zu denen Ökonom*innen arbeiten, haben soziologische oder politische Dimensionen, die wir mehr berücksichtigen sollten.

Aber auch transdisziplinäre Zusammenarbeit kann eine Menge bewegen. Wir sind in unterschiedlichen Netzwerken aktiv, die den Austausch mit der Politik fördern, wie beispielsweise in der Initiative Environment for Development. Unsere langjährige Arbeit zum Infrastrukturausbau im Energiesektor, aber auch zu dezentralen erneuerbaren Lösungen erhält hier viel Aufmerksamkeit. So ist unter anderem ein regelmäßiger Austausch mit der Weltbank entstanden, die wir bereits mehrfach auf unterschiedlichen Ebenen bis hinauf zum Präsidenten beraten konnten. Unsere Erkenntnisse werden angehört, aber selbstverständlich nicht 1:1 übernommen. Doch es wäre auch komisch, wenn Wissenschaftler*innen solche komplexen politischen Prozesse allein beeinflussen würden.

Das Interview wurde geführt von Dr. Doreen Siegfried.

Das Interview wurde geführt am 19.11.2020.

Über Prof. Dr. Jörg Peters

Jörg Peters leitet die Forschungsgruppe „Klimawandel in Entwicklungsländern“ am RWI – Leibniz-Institut für Wirtschaftsforschung in Essen und ist Professor an der Universität Passau. Seine Forschungsschwerpunkte sind Umwelt-, Energie- und Entwicklungsökonomik. Darüber hinaus engagiert er sich in der Debatte über Forschungstransparenz und wie richtige Evaluierungsmethoden für die zentralen politischen Fragen gefunden werden können. Jörg Peters hat verschiedene internationale Organisationen wie die Weltbank, die Millennium Challenge Corporation (MCC) und die GIZ beraten. Seine Forschungsergebnisse wurden in führenden Fachzeitschriften veröffentlicht, u.a. im Journal of Health Economics, in Nature Energy und dem World Bank Economic Review.

Kontakt: https://www.rwi-essen.de/peters

Twitter: https://twitter.com/jrgptrs

Mehr zum Thema Replikationen in den Wirtschaftswissenschaften hören Sie in unserem Podcast „The Future is Open Science“

Zum Podcast

Zurück zum Open-Science-Magazin