Open Science erfordert und fördert internationale Vernetzung
Prof. Dr. Michael Kirchler über seine Open-Science-Erfahrungen
Die drei wesentlichen Learnings:
- Open Science ermöglicht, dass Wissenschaft sich selbst verbessern kann.
- Die Community reagiert überwiegend positiv auf groß angelegte Replikationsstudien.
- Metascience und Replikationen sorgen für robustere Forschungsergebnisse.
Herr Prof. Kirchler, welche Rolle spielt Open Science für Sie in Ihrem Forschungsbereich?
MK: Ich beschäftige mich seit etwa 15 Jahren mit Behavioral Economics, also mit menschlichem Verhalten in ökonomischen und finanzwirtschaftlichen Entscheidungssituationen. Für mich und meine Forschungsgruppe war Open Science von Anfang an wichtig, auch zu der Zeit, als der Ansatz noch nicht so weit verbreitet war. Die Anleitungen zu den Experimenten waren zum Beispiel bei uns schon immer bei den Papers dabei, was damals längst nicht so üblich war wie heute.
Seit etwa vier Jahren gibt es bei uns an der Uni Innsbruck den Spezialforschungsbereich „Vertrauensgüter, Anreize und Verhalten“, und dort haben wir einen 2014 initiierten Metascience-Ansatz in der Forschung verankert. Das heißt: Wir betrachten unterschiedlichste Fragen der Wissenschaft über die Wissenschaft. Denn: Auch die Wissenschaft ist ja im Grunde ein Vertrauensgut. Man hat auf der einen Seite die Produzent:innen von Wissenschaft, also die Autor:innen, und auf der anderen Seite die Konsument:innen, also beispielsweise die Verlage, aber auch die politischen Entscheidungsträger:innen und die breite Öffentlichkeit. Die Informationsverteilung ist asymmetrisch, denn die Konsument:innen wissen wenig über den Entstehungsprozess und die Reliabilität der Studien. Selbst wenn ein Paper nach seiner Akzeptanz als Grundlage für politische Entscheidungen dient, so wissen die Entscheidungsträger:innen noch immer nicht, ob die Studie wirklich reliabel ist. Das heißt, die asymmetrische Information ist auch zu einem gewissen Grad nach Konsumation noch gegeben – und das kennzeichnet ein Vertrauensgut aus.
Wie haben Sie selbst den Einstieg in den Bereich Open Science gefunden?
MK: Die Verhaltensökonomie ist ja eine recht junge Disziplin. Schon etwa 2005 haben wir festgestellt, dass die Fragen zwar spannend waren, aber die Stichprobengrößen zum Teil recht niedrig und die statistischen Tests eher simpel. Als dann um 2013/2014 in der Psychologie die Open-Science-Welle losgetreten wurde, sind wir im Bereich Behavioral Economics ebenfalls schnell auf Metascience-Studien und Replikationsstudien gekommen. Ich finde diese wissenschaftliche Disziplin nach wie vor extrem faszinierend und habe auch das Gefühl, dass sich dadurch viel zum Positiven gewandelt hat – was die statistische Power angeht, aber auch in Hinblick auf Themen wie Präregistrierung und Pre-Analysis-Plans, sprich dass Forschende wie bei einer klinischen Studie im Vorfeld genau das experimentelle Protokoll sowie die geplanten Analysen beschreiben, diese Informationen publizieren und erst dann die Studie durchführen. Solche Ansätze sind extrem wertvoll und haben in den letzten Jahren in unserem Bereich stark zugenommen. In meinen Augen ist das ein wichtiger Punkt, dass die Wissenschaft sich selbst verbessern kann.
Welches Feedback haben Sie auf Ihre Aktivitäten bekommen?
MK: Ganz am Anfang, bevor wir 2015 mit unserer ersten großen Replikationsstudie angefangen haben, waren schon einige kritische Stimmen zu hören, dass sich das negativ auf unsere Reputation auswirken könnte. Aber uns war das relativ egal, denn genau darum geht es in der Wissenschaft doch, nach bestem Wissen und mit den aktuell besten zur Verfügung stehenden Methoden Studien durchzuführen. Nach Veröffentlichung der Studie war die Resonanz dann sehr positiv, weil die Community selbst wissen wollte, wie es bei 18 renommierten Studien mit der Replikationsrate und mit den Einflussfaktoren auf die Replikationsrate aussieht. Unser Vorteil war natürlich auch, dass wir mehrere und nicht eine einzelne Studie repliziert haben, denn eine derartig breit angelegte Replikationsstudie kann man dann einfach schwer „übersehen“.
Das bedeutet, dass auch Sie diesen Ansatz weiter verfolgen?
MK: Ja, allerdings haben wir uns inzwischen von den reinen Replikationsstudien weg bewegt und just unser zweites großes Crowd-Analysis-Projekt in empirischer Finanzwirtschaft gestartet. Dazu haben wir 652 Millionen Futures-Transaktionen an der Deutschen Börse genommen und sechs Hypothesen aufgestellt. Wissenschaftler:innen weltweit konnten sich registrieren, um die Daten auszuwerten. Insgesamt haben sich über 400 Wissenschaftler:innen gemeldet. In rund 230 Teams werden sie uns nun in verschiedenen Phasen Auswertungen liefern und Feedback erhalten von sogenannten Referees, die auch am Projekt beteiligt sind. Am Ende können wir dann analysieren, wie heterogen die Ergebnisse pro Hypothese waren, ob sie sich im Laufe der Zeit durch das Feedback der Referees eher angepasst haben oder nicht, und welche erklärenden Variablen die Ergebnisse pro Hypothese beeinflussen können. Für dieses Projekt haben wir gerade den Pre-Analysis-Plan abgegeben.
Hat sich Ihr Netzwerk durch diese Open-Science-Projekte verändert?
MK: Die Replikationsstudien und die Metascience-Studien haben uns viele Türen geöffnet und in Kontakt gebracht mit Forschungsteams, mit denen wir sonst wahrscheinlich nicht kooperiert hätten. Wir haben viel von den anderen Gruppen gelernt – und sie hoffentlich auch einiges von uns. Das Faszinierende an Open Science ist ja: Allein aufgrund der Struktur dieser Studien ist eine Vernetzung notwendig und in der Regel auch sehr befruchtend.
Ich glaube, es muss unser aller Anreiz sein, dass wir möglichst gute Wissenschaft machen können, und mit unseren und vielen anderen Metascience-Studien ist es gelungen, dass sich das Nachdenken über wissenschaftliche Methodik verstärkt hat und dass wir jetzt bessere Wissenschaft betreiben als zuvor. Ich glaube, das ist fast das Wichtigste an diesen Metascience-Studien, dass wir als Wissenschaftler:innen erkennen, wie wichtig es ist, dass wir sauber arbeiten und dass unsere Ergebnisse wirklich robust sind. Man hat im Zuge der Pandemie gesehen, wie wichtig wissenschaftliche Begleitung und internationale Vernetzung ist, um schnell Wissen über das Virus und Impfungen zu generieren. Und das ist natürlich umso leichter, wenn wir saubere Wissenschaft betreiben.
Das Interview wurde geführt von Dr. Doreen Siegfried.
Das Interview wurde geführt am 15.01.2021.
Über Prof. Dr. Michael Kirchler
Michael Kirchler ist Professor für Finanzwirtschaft und Sprecher des Spezialforschungsbereichs „Vertrauensgüter, Anreize und Verhalten“ der Universität Innsbruck. Im Jahr 2012 erhielt er den START-Preis, Österreichs höchste Auszeichnung für Nachwuchswissenschaftler:innen. Er ist Leiter des neu eingerichteten Forschungszentrums „Innsbruck Decision Sciences“.
Kontakt: https://www.uibk.ac.at/ibf/team/kirchler.html.de
ORCID-ID: https://orcid.org/0000-0002-5416-2545https://orcid.org/0000-0002-5416-2545