Das Problem der Reproduzierbarkeit in der Wirtschaftsforschung

Hilfestellungen für Wirtschaftsforscher:innen: So können Sie Ihre Forschung nachvollziehbar machen

In der wissenschaftlichen Gemeinschaft wird zunehmend auf das Problem der Reproduzierbarkeit von Forschungsergebnissen hingewiesen, insbesondere in der Disziplin der Wirtschaftsforschung. Mehrere Studien, die als bahnbrechend gelten, wurden unter dem Mikroskop der Reproduzierbarkeitstests geprüft und nicht selten scheitern sie an dieser Hürde (vgl. Camerer, C.F., Dreber, A., Forsell, E. et al. (2016): Reed 2018; Ioannidis 2013; Miguel 2021; Chang 2017; siehe auch Kasy 2021). Doch warum ist das so und was genau bedeutet Reproduzierbarkeit?

Replizierbarkeit vs. Reproduzierbarkeit: Ein feiner Unterschied

Bevor wir uns vertiefen, ist es wichtig, den Unterschied zwischen Replizierbarkeit und Reproduzierbarkeit zu klären. Beide Konzepte sind grundlegend für das Verständnis wissenschaftlicher Zuverlässigkeit, werden jedoch oft synonym verwendet, obwohl sie unterschiedliche Aspekte darstellen.

Reproduzierbarkeit bezieht sich auf die Fähigkeit, eine wissenschaftliche Studie oder ein Experiment unter denselben Bedingungen zu wiederholen und ähnliche Ergebnisse zu erzielen. Es geht darum, dass andere Forscher:innen die gleichen Daten, Methoden und Analysen verwenden können, um zu ähnlichen Ergebnissen zu gelangen. Die Reproduzierbarkeit ist ein wichtiges Prinzip, um die Gültigkeit und Zuverlässigkeit von Forschungsergebnissen sicherzustellen.

Replizierbarkeit hingegen bezieht sich darauf, ob eine Studie oder ein Experiment von anderen Forscher:innen durchgeführt werden kann, indem sie den gleichen Ansatz und die gleiche Methodik verwenden, um ähnliche Ergebnisse zu erzielen. Im Gegensatz zur Reproduzierbarkeit bezieht sich die Replizierbarkeit nicht unbedingt darauf, ob die ursprünglichen Daten und Materialien verwendet werden, sondern ob der gleiche Forschungsansatz reproduziert werden kann. Replizierbarkeit beinhaltet oft den Versuch, eine Studie oder ein Experiment in einem anderen Kontext, mit anderen Teilnehmenden oder zu einem anderen Zeitpunkt zu wiederholen, um die Stabilität und Allgemeingültigkeit der Ergebnisse zu überprüfen.

Der Unterschied liegt also darin, dass die Reproduzierbarkeit sich auf die Wiederholung einer Studie unter den gleichen Bedingungen bezieht, während die Replizierbarkeit die Wiederholung eines Forschungsansatzes unter ähnlichen, aber nicht notwendigerweise identischen Bedingungen betrifft. Beide Konzepte sind wichtig, um die Robustheit und Zuverlässigkeit wissenschaftlicher Erkenntnisse zu gewährleisten.

Warum Replizierbarkeit für die Wissenschaft so wichtig ist

Die Replizierbarkeit ist ein wesentlicher Bestandteil der wissenschaftlichen Methode. Sie dient dazu, die Richtigkeit von Forschungsergebnissen zu bestätigen und die Unvoreingenommenheit der ursprünglichen Studie zu gewährleisten. Durch die Wiederholung von Experimenten und Studien können Wissenschaftler:innen Fehler oder Bias in der ursprünglichen Forschung aufdecken. Das Streben nach Replizierbarkeit trägt also zur Integrität und Glaubwürdigkeit der Wissenschaft bei.

Das Replizierbarkeitsproblem in der Wirtschaftsforschung

In der Welt der Wirtschaftswissenschaften basieren Studien oft auf komplexen Modellen und umfangreichen Datensätzen, die eine Vielzahl von Variablen berücksichtigen. Doch der Zugang zu diesen Daten gestaltet sich häufig schwierig, sei es aufgrund von Einschränkungen oder weil sie proprietär sind. Dies erschwert wiederum die Reproduzierbarkeit und Replizierbarkeit solcher Studien.

Ein grundlegendes Problem liegt sowohl in der mangelnden Verfügbarkeit als auch in möglichen Fehlern bei der Aufbereitung der Daten und des Codes. Es kann mathematisch nachgewiesen werden, dass bei bestimmten Annahmen die Reproduzierbarkeit statistisch signifikanter Ergebnisse durch die Stichprobengröße und die begrenzte statistische Testkraft beeinflusst wird. Besonders problematisch wird es, wenn Forscher:innen dazu neigen, eher signifikante als insignifikante Ergebnisse zu veröffentlichen. Dadurch werden die Herausforderungen der Reproduzierbarkeit noch verschärft.

Die Problematik geht teilweise über die bloße Reproduzierbarkeit hinaus und betrifft auch die sogenannte Post-Study-Probability. Diese bezieht sich darauf, wie wahrscheinlich es ist, dass ein statistisch signifikanter Effekt tatsächlich auf einen wahren Zusammenhang zurückzuführen ist. Damit kommen weitere Faktoren ins Spiel, die das Verständnis und die Interpretation wissenschaftlicher Ergebnisse beeinflussen.

Die Gewährleistung von Reproduzierbarkeit und Replizierbarkeit in der Wirtschaftsforschung ist von großer Bedeutung. Nur wenn Forschungsergebnisse überprüft und wiederholt werden können, können sie als verlässlich und robust angesehen werden. Daher ist es essenziell, dass sowohl der Zugang zu Daten erleichtert als auch transparente und nachvollziehbare Methoden angewendet werden. Nur so können wir das Vertrauen in die Ergebnisse wissenschaftlicher Studien stärken und fundierte Entscheidungen auf der Grundlage solider wirtschaftlicher Erkenntnisse treffen.

Hilfestellungen für Wirtschaftsforscher:innen: So können Sie Ihre Forschung nachvollziehbar machen

Für Wirtschaftsforscher:innen gibt es eine Reihe von Strategien, die sie nutzen können, um ihre Forschung nachvollziehbarer und transparenter zu gestalten:

• Datenzugang: Soweit es die Datenschutzbestimmungen erlauben, sollten Forscher:innen versuchen, ihre Daten öffentlich zugänglich zu machen. Dadurch ermöglichen sie anderen Wissenschaftler:innen den Zugang zur Überprüfung ihrer Ergebnisse. Hier eine Auswahl von passenden Repositorien:
  • Zenodo: Ein allgemeines Open-Access-Repository, das von CERN entwickelt wurde und von der Europäischen Organisation für Kernforschung unterstützt wird. Es ermöglicht Forscher:innen aus allen Fachbereichen, ihre Daten zu teilen.
  • Registry of Research Data Repositories (re3data): Ein globales Verzeichnis von Forschungsdaten-Repositorien, das Forscher:innen hilft, das geeignete Repository für ihre Daten zu finden.
  • Datorium: Ein von GESIS seit 2014 bereitgestelltes Repositorium für Forscher:innen aus den Sozial- und Wirtschaftswissenschaften. Die eingestellten Daten werden mit einem DOI versehen und danach dauerhaft in der einmal eingestellten Form verfügbar gehalten.
  • Forschungsdatenzentrum Betriebs- und Organisationsdaten (FDZ-BO): Ein zentrales Archiv am DIW Berlin für quantitative und qualitative Betriebs- und Organisationsdaten.
  • In Deutschland gibt es mittlerweile mehrere Universitäten, die Speichermöglichkeiten für Forschungsdaten auf ihren universitätsinternen Publikationsservern anbieten. Es empfiehlt sich daher, bei Ihren jeweiligen Universitäten und Forschungseinrichtungen nach aktuellen Informationen zu suchen.

• Methodentransparenz: Forscher:innen sollten ihre Methoden ausführlich und transparent beschreiben. Dies erleichtert anderen das Verständnis und die Wiederholung des Forschungsprozesses.
• Standardisierung: Durch die Anwendung standardisierter Methoden und Analysetools können Forscher:innen sicherstellen, dass ihre Ergebnisse leichter zu reproduzieren sind.
• Präregistrierung von Studien: Durch das Präregistrieren ihrer Studien können Wissenschaftler:innen sicherstellen, dass sie ihre Hypothesen und Methoden vor Beginn der Studie festgelegt haben, was die Glaubwürdigkeit ihrer Ergebnisse erhöht. Es gibt verschiedene Plattformen, auf denen Wirtschaftsforscher:innen ihre Studien präregistrieren können:
  • Open Science Framework (OSF): Dieses allgemeine Open-Science-Portal bietet die Möglichkeit, Studien in einer Vielzahl von Disziplinen zu präregistrieren. (siehe Worksheet 2)
  • AsPredicted: AsPredicted ist eine einfache Plattform, die es Forscher:innen ermöglicht, die wichtigsten Aspekte ihrer Studie zu präregistrieren, einschließlich der Hypothesen, der geplanten Methodik und der Analysestrategien.
  • American Economic Association’s Registry for Randomized Controlled Trials (RCTs): Für Wirtschaftsforschende, die randomisierte kontrollierte Studien durchführen, ist dieses Register eine ausgezeichnete Möglichkeit, ihre Studien zu präregistrieren.
  • EGAP’s Registration and Results Repository: Die Experimental Governance and Politics (EGAP) Organisation betreibt ein Repository, das speziell für die Präregistrierung von Studien in den Bereichen Politik und Wirtschaft gedacht ist.

Es ist wichtig zu betonen, dass die Präregistrierung nicht nur eine formale Anforderung ist. Es handelt sich dabei um eine strategische Entscheidung, die Forscherinnen und Forscher dazu bringt, ihre Studien gründlicher zu planen und transparenter zu machen.

Die Replizierbarkeit ist nicht nur eine technische Anforderung, sondern ein Prinzip der wissenschaftlichen Integrität. Durch die Förderung der Reproduzierbarkeit können Wirtschaftsforscher:innen dazu beitragen, das Vertrauen in ihre Arbeit zu stärken und die Qualität der Forschung insgesamt zu verbessern.

Übung: „The seat of a replicator“

Zum Abschluss eine Übung aus dem Buch von Charlotte R. Pennington (2023): A Student´s Guide to Open Science (s. 21):

Suchen Sie den von Ihnen bevorzugten Forschungsartikel aus der Zeitschrift, in der er veröffentlicht wurde. Prüfen Sie, ob die darin enthaltenen Informationen ausreichen, um eine unabhängige Replikation durchzuführen.

Stellen Sie sich die folgenden Fragen:

1. Was sind die Ziele der vorliegenden Studie?
2. Gibt es Hypothesen? Sind diese klar formuliert?
3. Was ist das Forschungsdesign?
4. Wer sind die Teilnehmer:innen der Stichprobe?
5. Wie groß ist die Stichprobe? Gibt es eine Begründung für die Größe von den Autor:innen?
6. Was ist die unabhängige Variable (die manipulierte Variable)?
7. Was ist die abhängige Variable (die gemessene Variable)?
8. Welche Analysen wurden durchgeführt? Gibt es genügend Informationen, um diese zu reproduzieren?
9. Wie hoch ist der Schwellenwert für die Angabe der statistischen Signifikanz bzw. des Beweises für die jeweilige Hypothese? Wird das Alpha-Niveau (p-value) angegeben?
10. Wurde von den Autor:innen angegeben, ob sie ihre Daten gesichtet oder bereinigt haben? (z. B. gab es Ein- und Ausschluss-Kriterien? Wie wurde mit Ausreißern in den Daten verfahren?)
11. Welche Informationen fehlen in der Studie, die eine Replikation schwierig machen könnten?
12. Erwarten Sie, dass sich diese Studie wiederholen lässt? Warum oder warum nicht?

Zurück zum Open-Science-Magazin