Insignifikante Resultate müssen besser publizierbar sein, denn sie zeigen Mut

Prof. Dr. Urs Fischbacher über seine Open-Science-Vision

Sie befassen sich mit experimenteller Ökonomik und Verhaltensökonomik. Spielen Prä-registrierungen für Sie eine Rolle? 

UF: Prä-Registrierungen finden zunehmend Eingang in den Forschungsprozess. Sie eignen sich besonders dort, wo Dinge schlecht replizierbar sind. Bei gut replizierbaren Studien, zum Beispiel bei normalen Laborexperimenten, halte ich Prä-Registrierungen für nicht so wichtig, denn diese Laborexperimente kann man leicht replizieren, wenn man Dinge in Zweifel zieht. Hinzu kommt, dass die wirklich wichtigen Studien automatisch repliziert werden, wenn neue Studien auf anderen Studien aufbauen. Das Problem, das ich sehe, ist, dass Replikationen manchmal scheitern. Und dann scheitert gleich das ganze Projekt, und die Information über das Scheitern bleibt in der Schublade. Es ist geradezu absurd, dass so Ergebnisse, die nicht repliziert werden können, besonders oft repliziert werden, da diese Erkenntnis sich oft nicht verbreitet.

Gibt es bessere Lösungen?

UF: Wir haben bei der Zeitschrift Experimental Economics die Möglichkeit erhalten, für ein paar Artikel die Begutachtung im Pre-Result-Review-Verfahren durchzuführen. Hier wird der Artikel begutachtet, bevor man die Daten erhoben hat. Pre-Result-Reviews sind meines Erachtens die noch bessere Variante als Prä-Registrierungen. Hier beweist man nicht nur, dass man die Hypothese schon hatte. Die Arbeit kann unabhängig vom Resultat publiziert werden, denn der Gutachter oder die Gutachterin beurteilt primär, ob die Fragestellung unabhängig vom Resultat interessant ist und als Autor:in bekommt man schon vor der Datenerhebung die Zusage für eine Publikation. Wenn die Daten erhoben sind, sind natürlich zusätzliche explorative Analysen möglich – und diese können von den Gutachter:innen nochmals kritisiert werden. Der Kern des Artikels ist aber sicher. Gerade für riskante Experimente, die aber interessant sind, finde ich Pre-Result-Review einen vielversprechenden Ansatz.  

In Ihrem Würfel-Experiment untersuchten Sie die Ehrlichkeit. Können Sie aus diesem Experiment schließen, wie wichtig Transparenz ist?

UF: Wenn Transparenz gegeben ist, gibt es gar nicht die Möglichkeit, unehrlich zu sein. Wenn ich als Forscher meine Instruktionen und mein Programm öffentlich machen muss, kann ich nicht behaupten, das Experiment anders durchgeführt zu haben. Wenn prä-registriert wird, kann ich nicht hinterher meine Hypothesen ändern. Bei der Ehrlichkeit finde ich auch spannend, ob die Leute glauben, dass die anderen schummeln, ob es also eine soziale Norm für Ehrlichkeit gibt. Und da hat sich vieles zum Guten verändert. Man liest mittlerweile viel skeptischer als noch vor Jahren, zum Beispiel was ex-ante-Hypothesen betrifft. Und das produziert natürlich auch einen Anreiz beispielsweise für Prä-Registrierungen. In dem Sinne hilft Transparenz, die Qualität und die Nachvollziehbarkeit von Ergebnissen zu verbessern. Aus meiner Sicht besteht das Problem aber weniger darin, dass wacklige Daten publiziert werden, sondern dass insignifikante Ergebnisse nicht publiziert werden und man so eine falsche Einschätzung über die Relevanz eines Effekts hat.

Haben Sie schon insignifikante Resultate publiziert?

UF: Ja, das habe ich durchaus schon gemacht. Aber es war relativ schwierig. Wenn ich an zwei Projekten arbeite und eines hat wunderschöne Resultate, dann ist es erfolgversprechender, mit den interessanten Resultaten zu arbeiten. Man kommt in die Top Journals mit spektakulären Resultaten, nicht mit spektakulären Designs. Und das ist ein riesiges Problem. Deshalb halte ich auch Pre-Result-Review für interessanter als die Prä-Registrierung, weil bei einem Pre-Result-Review die Publikation garantiert und auch nicht so aufwendig ist.

Veröffentlichen Sie Ihre Methode, Codes, Algorithmen usw.?

UF: Wenn ich einen Artikel einreiche, kommen die Instruktionen mit ins Paper bzw. ins Working Paper. Die Daten und der Code werden bei der Veröffentlichung in der Regel bei den Journals hinterlegt. Das finde ich eine gute Praxis, weil die Autor:innen dann dazu gezwungen werden, ihre Forschung komplett zu teilen. Wo keine rechtlichen Gründe dagegensprechen, stelle ich in der Regel ein Replikationspaket zur Verfügung. Das ist nicht immer bequem, denn gerade programmierte Experimente haben eine gewisse Komplexität. Da ist es aufwendig, die Dokumentation so zu machen, dass alles auch für andere nachvollziehbar ist. Ich finde das Veröffentlichen von Replikationspaketen über die Journals oder auch über Datenrepositorien auch viel nachhaltiger als alles über die eigene Website zu veröffentlichen. Mir ist es selbst schon passiert, dass ich die Universität gewechselt habe und die Profilseite, wo ein Anhang zu einem Paper verlinkt war, dann verschwunden war. Ich finde, es sollte Aufgabe der Journals sein, diese Daten nachhaltig zur Verfügung zu stellen. Damit der Zugang zu den Daten dann auch für alle frei ist, muss der Staat Lösungen und Infrastrukturen bereitstellen.

Sie haben die Programmiersprache z-Tree entwickelt, die schon seit 1998 frei als Cite Ware zur Verfügung steht. Welche Vorteile hat Ihnen hier das offene Teilen gebracht?

UF: Die Programmiersprache z-Tree ist mittlerweile weltweit im Einsatz und hat mir sicherlich geholfen, meine internationale Sichtbarkeit zu erhöhen. Über die Google-Scholar-Suche kann man die Nutzung nachverfolgen und findet über 10.000 Treffer von Publikationen, die mit z-Tree gearbeitet haben. 2016 erhielt ich den Wirtschaftspreis von der Joachim-Herz-Stiftung, auch mit der Begründung, dass die weite Verbreitung von z-Tree wesentlich zur internationalen Bedeutung dieses Forschungszweiges beigetragen hat. Das Programm hat es viel einfacher gemacht, Experimente durchzuführen, und auch das Teilen ist einfacher, wenn viele Leute auf der gleichen Plattform unterwegs sind.

Wo sehen Sie als Verhaltensökonom noch weitere Anreize hinsichtlich Open Science?

UF: Ich sehe zwei Dinge: Vor der Publikation des Artikels müssen die Forschungsdaten bereitgestellt werden. Die Journals müssen den Qualitätscheck für die Forschungsdaten übernehmen und Minimalanforderungen prüfen wie: Laufen die Data Scripts oder nicht. Das Zweite, was ich extrem wichtig finde, ist, dass insignifikante Resultate besser publizierbar sind. Wir haben schon einmal über ein Journal of Null Results nachgedacht, was dann für Metaanalysen extrem wichtig wäre. Wir sehen ja immer nur zensierte Daten; die nicht signifikanten sehen wir nicht. Und das müsste sich ändern. Die entsprechenden Artikel könnten einfach und kurz sein, aber die Autor:innen müssten Anerkennung dafür bekommen, denn Null-Resultate sind auch ein Ausdruck von Mut.

Wo sehen Sie Kontexte, in denen die Wirtschaftsforschung Open Science und integres Arbeiten diskutiert?

UF: Das Thema findet vor allem in der Praxis seinen Niederschlag. Es gibt mehr Prä-Registrierungen. Die Journals sind eher bereit als noch vor einigen Jahren, auch insignifikante Resultate zu publizieren – wenn auch noch zu wenig. Experimental Economics hat ein Tochter-Journal, das Journal of the Economic Science Association (JESA),das explizit zu Replikationen einlädt. Das sind wichtige Schritte. Die Replikationsstudie der Open Science Collaboration wird natürlich auch in der Wirtschaftsforschung diskutiert und eine entsprechende Studie wurde auch in unserem Gebiet durchgeführt. Es ist ein wichtiger Aspekt, dass sich alle Wirtschaftsforschenden der Probleme bewusst sind.

Vielen Dank!

Das Interview wurde geführt von Dr. Doreen Siegfried.

Das Interview wurde geführt am 06.04.2021.

Über Prof. Dr. Urs Fischbacher

Urs Fischbacher ist Professor für Angewandte Wirtschaftsforschung an der Universität Konstanz. Er ist Leiter des Thurgauer Wirtschaftsinstituts, einem An-Institut der Universität Konstanz. Seine Forschungsgebiete umfassen die Experimentelle Ökonomik, Verhaltensökonomik und Neuroökonomik. Bekannt wurde er zudem durch die Entwicklung von z-Tree, einer Programmiersprache für die Durchführung von wissenschaftlichen Laborexperimenten, die weltweit in zahlreichen Forschungseinrichtungen im Einsatz ist und wesentlich zur internationalen Bedeutung dieses Forschungszweiges beigetragen hat. 2016 wurde er ausgezeichnet mit dem Joachim Herz Wirtschaftspreis. Im F.A.Z. Ökonomenranking 2020 belegte Urs Fischbacher in der Kategorie „Wissenschaft“ Platz vier.

Kontakt: https://www.wiwi.uni-konstanz.de/fischbacher/members/urs-fischbacher/

ORCID-ID: https://orcid.org/0000-0002-5115-8815

Zurück zum Open-Science-Magazin