Open Science in der Volkswirtschaftslehre
Überlegungen von Prof. Dr. Marianne Saam
Die Replikations- oder auch Reproduktionskrise dürfte Wirtschaftswissenschaftler:innen ein Begriff sein. Auch wenn sie diese im Forschungsalltag vermutlich selten als krisenhaft erleben, tritt das Thema seit einigen Jahren vermehrt in den Vordergrund. Warum ist das so? Welche Veränderungen lassen sich beobachten? Wir haben Prof. Dr. Marianne Saam zu ihren Überlegungen gefragt.
Welche Rolle spielt Transparenz und Nachvollziehbarkeit von Forschungsergebnissen in der VWL?
MS: In einem bestimmten Bereich der empirischen Methodik wurden große Fortschritte gemacht: Der Anspruch an die Identifikation statistisch kausaler Effekte ist insbesondere in der Mikroökonometrie gestiegen. Verfahren wie Instrumentvariablenansätze und Regression-Discontinuity-Designs gehören heute zu Standardwerkzeugen empirischer Forschung. Gutachter:innen bei Zeitschriften prüfen kritischer als früher, ob kausale Verfahren zum Einsatz kommen und plausibel begründet sind. Dieses Jahr wurden Joshua Angrist, David Card und Guido Imbens mit dem Nobel-Gedächtnis-Preis für Wirtschaftswissenschaften für ihre bahnbrechenden Arbeiten zur Identifikation kausaler Effekte ausgezeichnet.
Das klingt doch sehr erfreulich.
MS: Ja, das stimmt. Allerdings bleiben formelle Replikationsstudien zur Überprüfung der Validität und Robustheit der Ergebnisse von publizierten Artikeln in den Wirtschaftswissenschaften in der Minderzahl. Informelle Replikationen sind durchaus Teil einer etablierten Forschungspraxis, das heißt Ergebnisse anderer Autor:innen werden häufig nachgebildet, bevor die eigene Arbeit darauf aufbaut. Dies gilt insbesondere für viel zitierte Artikel in hochrangigen Zeitschriften.
Ist hier eine Trendwende in Sicht?
MS: Ja,die veränderten Anforderungen der Zeitschriften der American Economic Association (AEA) 2019 könnten innerhalb der VWL tatsächlich eine Trendwende einläuten. Daten und Programmcode müssen jetzt bereitgestellt werden, bevor ein Artikel dort zur Veröffentlichung akzeptiert wird.
Was passiert, wenn die Daten sensibel sind und nicht öffentlich zugänglich gemacht werden können?
MS: Sind Daten nicht öffentlich zugänglich, muss die Replizierbarkeit anders nachgewiesen werden, beispielsweise durch einen Replikationsbericht von einer unabhängigen dritten Seite. Der Data Editor stellt die Umsetzung der Maßnahmen sicher. Neu ist nicht die Maßnahme an sich, sondern die Konsequenz der praktischen Umsetzung. Damit genügen die Zeitschriften der AEA inzwischen vergleichsweise hohen Open-Science-Standards. Das von der ZBW unentgeltlich angebotene Journal Data Archive ermöglicht es Herausgebenden, Daten und Programmcode von Artikeln für die Nachnutzung bereitzustellen.
Wie entwickelt sich die Publikationskultur hinsichtlich Replikationsstudien?
MS: Die VWL als Disziplin verfügt derzeit über keine etablierten Praktiken, wie die Erkenntnisse aus sogenannten wissenschaftlichen Replikationen verbreitet werden. Wissenschaftliche Replikationen überprüfen nicht die rein technisch fehlerfreie Durchführung einer Studie, sondern die Robustheit der Ergebnisse, wenn andere Methoden oder Daten verwendet werden. Es gibt Vorschläge aus der wissenschaftlichen Community, dass Zeitschriften mit hoher Sichtbarkeit Replikationen in Form eines ausführlichen Abstracts veröffentlichen könnten. Dies könnte einen Anreiz für Replikationen schaffen, indem diese als eigenständiger Teil eines unabhängig entstandenen Artikels eine zweite Veröffentlichung ermöglichen. Ohnehin erstellte Replikationen wären so besser sichtbar. Zitate sollten dann nicht nur auf die erstmalige Veröffentlichung eines Ergebnisses, sondern auch auf bestätigende wie negative Replikationen verweisen.
Das klingt doch sinnvoll.
MS: Ja ist es auch. Ergänzend können aber auch unabhängige Zeitschriften für Replikationsstudien eine Rolle spielen, wie das an der ZBW beheimatete Journal of Comments and Replications in Economics (JCRE) – Nachfolger des International Journal for Reviews in Empirical Economics (IREE). Das Journal könnte beispielsweise verstärkt für die Veröffentlichung von Replikationen in Empirical Economics genutzt werden, die im Rahmen von Doktorandenkursen entstehen.
Welche Veränderungen hinsichtlich Open Science beobachten Sie noch?
MS: Für experimentelle Arbeiten mit Zufallsstichproben etabliert sich zunehmend die Präregistrierung von Studien, die vorab angibt, welche Zusammenhänge untersucht werden sollen und somit Verzerrungen durch „p-Hacking“ und ähnliche Vorgehensweisen reduziert. Ein 2013 von der AEA eingerichtetes Register verzeichnet inzwischen mehr als 4.000 Einträge pro Quartal.
Vor dem Hintergrund der Policy Implications wirtschaftswissenschaftlicher Forschung verlangt die Gesellschaft stabile und konsolidierte Erkenntnisse. Wie wird dieses Thema in der VWL diskutiert?
MS: Die politische Relevanz der Wirtschaftsforschung ist unbestritten.Die bisher skizzierten Maßnahmen stellen noch nicht sicher, dass unterschiedliche Ergebnisse zu einer Fragestellung konsolidiert werden. Methoden der Metaanalyse und der systematischen Literaturübersicht beabsichtigen Synthesen zu generieren, die nicht nach rein subjektiven Kriterien erstellt werden. Allerdings können sie keine Qualitätsmängel der Primärstudien beheben. Sie können ergänzende Informationen bei Fragestellungen bieten, über die es ohnehin schon viel Diskussion gibt und zu denen sich viele Forschende über die Qualität der bislang veröffentlichten Studien aus erster Hand ein Urteil gebildet haben. Erkenntnisse, die sie unabhängig von einem intensiven Diskurs über Einzelstudien zu generieren vermögen, erscheinen jedoch begrenzt. Welche Praxis hier für die Wirtschaftspolitik den größten Mehrwert liefern könnte, ist letztlich eine Frage, die Wirtschaftsforschungsinstitute, Fachgesellschaften und Wissenschaftsorganisationen noch stärker aufgreifen könnten, um Standards für eine noch transparentere Politikberatung zu schaffen.
Vielen Dank!
Die ausführlichen Überlegungen zum Thema VWL & Open Science von Prof. Dr. Marianne Saam finden Sie im Wirtschaftsdienst. URL: http://hdl.handle.net/11108/500
Das Interview wurde geführt von Dr. Doreen Siegfried.
Das Interview wurde geführt am 08.12.2021.
Über Prof. Dr. Marianne Saam
Marianne Saam hat die Professur für „Digitale Wirtschaftswissenschaft“ an der Universität Hamburg inne und leitet in der ZBW – Leibniz-Informationszentrum Wirtschaft den Programmbereich „Wissenstransfer Wirtschaftswissenschaften“.
Kernthema ihrer Forschung ist die Rolle von Wissen und digitaler Technologie im wirtschaftlichen Prozess. Sie erforscht die Auswirkungen der digitalen Transformation auf Innovation und nachhaltiges Wirtschaftswachstum, aber auch die Nutzung digitaler Technologien in Wissensbildungsprozessen über wirtschaftliche Themen.
Marianne Saam studierte und promovierte an der Goethe-Universität Frankfurt am Main mit Stationen in Paris und Louisiana. Von 2005 bis 2017 war sie im Forschungsbereich „Digitale Ökonomie“ des Zentrums für Europäische Wirtschaftsforschung (ZEW) in Mannheim tätig und leitete dort verschiedene Forschungsprojekte. Ihre Arbeiten sind in renommierten internationalen Fachzeitschriften publiziert, wie z.B. der Review of Economics and Statistics. 2014 habilitierte sich Marianne Saam an der Goethe-Universität Frankfurt am Main. Von 2017 bis 2021 war sie Professorin an der Ruhr-Universität Bochum.
Kontakt: https://www.zbw.eu/de/marianne-saam
Twitter: https://twitter.com/mariannesaam
LinkedIn: https://www.linkedin.com/in/marianne-saam-432b95b9/
ORCID-ID: https://orcid.org/0000-0001-7055-0567