Replikationsstudien und ihr gesellschaftlicher Wert
Warum Wirtschaftswissenschaftler:innen mehr replizieren sollten
IREE (International Journal for Reviews in Empirical Economics) ist ein Replikationsjournal für empirische Wirtschaftsforschung. Eine eigene Plattform für die Publikation von Replikationsstudien. Da stellt sich die interessante Frage, warum es eine solche Plattform überhaupt geben muss. Braucht die Wirtschaftswissenschaft das?
Neutrale Plattform als Chance
Prof. Dr. Martina Grunow, Managing Editor des Online Journals, erklärt, warum die Antwort auf diese Frage ein klares ‚Ja‘ sein muss. Sie sagt, dass Wirtschaftswissenschaftler:innen so eine Plattform unbedingt brauchen, weil ihre Replikationsstudien sonst kaum eine Chance auf Wahrnehmung hätten. Denn andere Fachzeitschriften zeigen eher wenig Interesse an der Publikation solcher Studien.
Zum Podcast mit Prof. Dr. Martina Grunow
Denn Replikationsstudien haben eigentlich nur dann eine gewisse Chance auf Veröffentlichung, wenn sie die Ergebnisse der Originalstudie widerlegen. Je größer der Bekanntheitsgrad dieser Originalstudie ist, desto nachhaltiger auch die Beachtung der Replikation.
Das ist sehr bedauerlich, denn Replikationsstudien haben einen hohen wissenschaftlichen Wert. Und zwar gerade dann, wenn sie positiv ausfallen. Wer meint, der Erkenntnisgewinn solcher bestätigenden Studien sei vernachlässigbar, irrt gewaltig. Denn hier wird ja nicht einfach wiederholt, was vorher schon einmal gemacht wurde.
Replikationen helfen der Wissenschaft zu differenzieren, welche der vielen empirischen Studienergebnisse tatsächlich robust, verallgemeinerbar und replizierbar sind. Welche dieser Erkenntnisse also überhaupt verwendbar sind. Für die Wissenschaft in Form von weiteren Forschungen und nachfolgenden Studien. Oder für die Politik als Beratungsbasis.
Warum überhaupt Replikationsstudien?
Der Sinn von Replikationsstudien besteht also im Erkenntnisgewinn darüber, welche Studienergebnisse geeignet sind, politischen Entscheidungsprozessen oder weiterführender Forschung als valide Grundlage zu dienen. Insofern sind Replikationen ein relevanter Dienst an der Gesellschaft.
Hat man das erkannt, muss sich unwillkürlich auch die Sichtweise auf Replikationsstudien verändern. Dadurch eröffnet sich wiederum die Chance zu erkennen, wie wertvoll diese wissenschaftliche Arbeit ist und wie viel kreatives Potenzial darin steckt. Denn die Herausforderung liegt ja nicht allein in der exakten Wiederholung oder der Bestätigung einer bereits durchgeführten Studie. Bei der Replikation geht es in erster Linie um das tiefe Verständnis des Originals, damit man an der Methodik oder den Analysedaten so geschickt feilen kann, dass neue Erkenntnisse ans Licht kommen.
Nur, wer die Frage ‚Warum wurde das ursprünglich so gemacht?‘ detailliert und tiefgreifend beantworten kann, kommt zu Antworten auf weiterführende Fragen wie ‚Warum und wie könnte man es anders machen?‘. Was man im Vergleich zur Originalstudie verändert und wie man es verändert, hat grundlegende Auswirkungen auf die neuen Ergebnisse. Die Replikation muss also mindestens genauso durchdacht sein wie die ursprüngliche Studie, wenn nicht noch besser. Ausgehend von seinem/ihrem tiefen Verständnis des Originals muss der Forscher oder die Forscherin in der Lage sein, seine/ihre Stellschrauben detailliert zu setzen und seine/ihre Aktionen versiert zu begründen.
Die gesellschaftliche Relevanz
Auf den Forscher:innen lastet mitunter eine riesige Verantwortung. Bedenkt man, dass gerade wirtschaftswissenschaftliche Studienergebnisse häufig in die Politikberatung einfließen, wird die Tragweite der Bedeutung von Replikationsstudien noch offensichtlicher. Denn die Politik trifft allzu oft Entscheidungen auf der Grundlage von Daten, die nie wissenschaftlich mittels Replikationen überprüft wurden. Und genau darin liegt die Aufgabe von Replikationsstudien.
Solche Studien überprüfen den Analyseprozess der vorliegenden Daten. Denn dort könnten sich Fehler eingeschlichen haben, die erst mit Hilfe einer Replikation offenbar werden. Nur wenn die Ergebnisse der Originalstudie ein zweites Mal oder noch öfter replizierbar sind, werden sie zu robustem Datenmaterial, mit dem Forscher:innen und Politiker:innen weiterarbeiten können. Doch Replikationsstudien gehen über die reine Duplizierung von Ergebnissen weit hinaus. Denn es geht nicht nur um die Robustheit von Daten, sondern auch darum, ob Studienergebnisse verallgemeinerbar sind.
Die Anwendbarkeit von Ergebnissen
Sind die Ergebnisse der Originalstudie ausschließlich unter den gegebenen Bedingungen zu erreichen, oder gelten die Erkenntnisse auch unter anderen Umständen? Sind Schlussfolgerungen, die aufgrund einer Stichprobe getroffen wurden, auch für vergleichbare Gruppen anwendbar? Der Wert von Studienergebnissen kann immens gesteigert werden, wenn man weiß, ob sie auf andere Umfelder oder erweiterte Gruppen übertragbar sind. Gerade im Bereich der Wirtschaftswissenschaften sind diese Fragen für eine evidenzbasierte Politikberatung von enormer Bedeutung.
Eine Replikationsstudie könnte beispielsweise untersuchen, ob eine in Deutschland durchgeführte Studie auch auf andere europäische Länder übertragbar ist. In diesem Falle würde man bei der Replikation exakt die gleiche Methodik anwenden wie im Original, ändern würde sich nur die Datengrundlage. Genau hier liegt das Wesen einer Replikationsstudie. Sie überprüft Ergebnisse, indem gezielt an einer Stellschraube gedreht wird. Entweder man nimmt Veränderungen an der Methodik vor und verwendet das gleiche Datenmaterial. Oder man behält die Methodik exakt bei und verändert die Analysedaten.
Wertvolle wissenschaftliche Arbeit
In der Art und Weise der Modifikationen, die ein:e Replikationsforscher:in vornimmt, zeigen sich seine/ihre Kompetenz und seine/ihre Kreativität. Die Raffinesse beim Drehen an den entscheidenden Stellschrauben macht die Qualität einer Replikationsstudie aus. So wird die etwas herablassend Wiederholungsstudie genannte wissenschaftliche Arbeit zum spannenden Forschungsabenteuer auf höchstem akademischem Niveau. Mit dem Abkupfern einer wissenschaftlichen Leistung hat das ganz und gar nichts zu tun.
Studienergebnisse gibt es wie Sand am Meer. Aber welche davon sind wirklich robust? Eine Frage, die sowohl für die Wirtschaft als auch für die Gesellschaft von unschätzbarer Bedeutung ist. Auch diese Frage wurde bereits wissenschaftlich untersucht. Im Jahr 2015 kam eine Studie zu der dramatischen Erkenntnis, dass lediglich 50 Prozent der empirischen Ergebnisse im Bereich der Wirtschaftswissenschaften reproduzierbar sind. Umgesetzt in die Praxis heißt das, man könnte auch gleich eine Münze werfen.
Es besteht Nachholbedarf
Replikationsstudien könnten dazu beitragen, dass wirtschaftswissenschaftliche Forschungsergebnisse zum verlässlichen Wegweiser für politische Entscheidungen werden. Wenn es denn genügend davon gäbe. Der Mangel an solchen Forschungen vernachlässigt die gesellschaftliche Relevanz und die politische Verantwortung, welche die Wirtschaftswissenschaft nun mal hat. Dabei hätte man mit der Replikationsstudie ein wertvolles wissenschaftliches Instrument an der Hand, mit dem robustes Datenmaterial herausgefiltert werden könnte.
Die akademische Welt hat in diesem Punkt also einiges aufzuholen. Wettbewerbsdruck und Publikationen als einzige Währung für die wissenschaftliche Karriere tragen nicht gerade zur Überwindung der Replikationskrise bei. Forschung als Wert an sich zu betrachten und mit entsprechendem Zeitbudget zu versehen, wäre eine mögliche Alternative. Replikationsstudien sind Teil dieser Forschung und gehören deshalb auch unbedingt mit in die Lehre hinein. Wissenschaft, Politik und Gesellschaft würden gleichermaßen davon profitieren.
Aber nicht allein der akademische Kosmos, auch die Politik ist in der Pflicht. Wenn nur Daten zu Beratungszwecken herangezogen würden, die mit einer Replikationsstudie überprüft wurden, käme die Wissenschaft in Zugzwang. Die gesellschaftliche Verantwortung lastet also auf vielen Schultern. Man darf sie keinesfalls auf diejenigen der Forscher:innen abwälzen.
Zu IREE – International Journal for Reviews in Empirical Economics