Präregistrierungen forcieren theoretische Klarheit von Anfang an

Tilman Fries über seine Open-Science-Erfahrungen

Copyright: Privat

Gab es einen Moment, der Ihr Interesse an Open Science geweckt hat – in dem Sie die Bedeutung von Open Science für sich besonders wahrgenommen haben?

TF: Ich gehöre zu einer Generation, in der Open Science bereits zu Beginn der Promotion ein präsentes Thema war. Ich kenne es also gar nicht anders. Einen klaren Auslöser gab es für mich daher nicht. Allerdings haben bestimmte Stationen meiner Laufbahn die Relevanz deutlich gemacht. So habe ich einige Zeit an einem Institut gearbeitet, das wirtschaftswissenschaftliche Forschung betrieb. Dort wurde mir schnell bewusst, wie wichtig es ist, die eigene Arbeit sorgfältig zu dokumentieren, insbesondere in der Teamarbeit. Ebenso fällt auf, wenn die Arbeit anderer nicht transparent oder schwer nachvollziehbar ist. Diese Erfahrungen haben mir verdeutlicht, dass ich meine eigenen Forschungsschritte so dokumentieren muss, dass sie für mich selbst später verständlich bleiben, und dass ich sie im Zweifel auch anderen nachvollziehbar erklären kann.

Das heißt, Sie haben in der Teamarbeit sowohl positive als auch negative Erfahrungen mit Dokumentation gemacht?

TF: Richtig negativ war es nie, aber auch nicht durchgehend positiv. Besonders prägend waren eher die Situationen, in denen ich ein Projekt übernehmen musste und zunächst nicht verstand, worum es eigentlich ging. Solche Erfahrungen zeigen, wie sehr fehlende Nachvollziehbarkeit den Arbeitsprozess erschwert. Ein weiterer wichtiger Impuls kam durch größere Replikationsstudien, etwa von Colin Camerer, Anna Dreber und anderen, veröffentlicht 2018 in Nature Human Behavior. Darin wurden mehrere sozialwissenschaftliche Experimente systematisch überprüft. Die Ergebnisse erschienen früh in meiner Promotionszeit und haben bei uns intensive Diskussionen ausgelöst, gerade als wir selbst begannen, erste Experimente durchzuführen. Die zentrale Botschaft dieser Arbeiten ist nicht, dass Experimente grundsätzlich nicht replizierbar sind. Sie betonen vielmehr, dass bestimmte statistische Voraussetzungen erfüllt sein müssen, um robuste Forschung zu betreiben. Ebenso entscheidend ist es, nicht nur einzelne Experimente ernst zu nehmen, sondern auch auf Metastudien zu achten. Diese Debatten haben 2017/18 meine wissenschaftliche Haltung stark geprägt.

Sie beschäftigen sich intensiv mit Anreizen und Motivation. Inwieweit verändern Open-Science-Praktiken aus Ihrer Sicht die Anreizstrukturen in Bezug auf Publikationen, Reputation und Zusammenarbeit? Oft heißt es ja, dass fragwürdige Forschungspraktiken letztlich durch Anreizsysteme befördert werden. Beobachten Sie eine Gegenentwicklung?

TF: Das stärkste Anreizsystem bleibt das Publikationssystem, insbesondere die Bewertung durch anonyme Gutachten und Fachzeitschriften. Was sich deutlich verändert hat, das sind die Präregistrierungen, die inzwischen in vielen Arbeiten üblich sind. Sie schaffen Anreize, das eigene Forschungsprojekt bereits vor der Datenerhebung sehr gründlich zu durchdenken. In der experimentellen Forschung, mit der ich viel arbeite, bedeutet das: Ich muss im Vorfeld festlegen und dokumentieren, welche Daten ich erheben will, welche Hypothesen plausibel sind und welche theoretischen Annahmen ihnen zugrunde liegen. Dieses Vorgehen zwingt mich dazu, auch Szenarien mitzudenken, in denen die erwarteten Ergebnisse ausbleiben, und zu überlegen, wie ich mit solchen Befunden umgehen kann. Früher gab es mehr Spielräume, nach der Datenerhebung flexibel zu reagieren, etwa indem man alternative Zusammenhänge im Datenmaterial hervorhob, wenn der erwartete Effekt ausblieb. Solche Vorgehensweisen sind heute deutlich schwerer zu rechtfertigen. Die größte Veränderung sehe ich darin, dass Publikationen enger an die ursprüngliche Forschungsplanung gebunden sind.

Wenn wir über Anreizstrukturen sprechen, lässt sich dann sagen, dass Open-Science-Praktiken auch die intrinsische Motivation adressieren? Also im Sinne einer zusätzlichen Motivation, die eigene wissenschaftliche Arbeit zu verbessern und theoretisch fundierter zu gestalten?

TF: Ich glaube, ich muss mir theoretisch sehr viel mehr Gedanken darüber machen, welche  Mechanismen es in meinem Experiment gibt. Ich muss immer mein Devils Advocate sein, da ich eben ex-post nicht sehr flexibel bin. Das macht mich, würde ich hoffen, zu einem schärferen Theoretiker.

Wir haben eben über Präregistrierungen gesprochen. Welche weiteren Entwicklungen sehen Sie im Bereich Open Science, die besonders für die ökonomische Verhaltensforschung relevant sind?

TF: Eine zentrale Entwicklung sind Metastudien. Sie haben den Diskurs stark geprägt, weil sie Forschende für die statistischen Herausforderungen sensibilisieren, die mit Experimenten oder Datenanalysen verbunden sind. Begriffe wie „forking paths“, „p-hacking“ oder „statistical power“ verdeutlichen, wo potenzielle Fallstricke liegen. Metastudien zeigen, wie groß der Einfluss des statistischen Zufalls sein kann und wie Verzerrungen, etwa durch Publication Bias, die Wahrnehmung von Ergebnissen prägen. Vor diesem Hintergrund verlieren Einzelstudien etwas an Gewicht. Stattdessen rücken systematische Evidenz und die Aggregation mehrerer Studien stärker in den Vordergrund.

Darüber hinaus hat sich ein eigener Metascience-Komplex entwickelt, die Reflexion darüber, wie Wissenschaft funktioniert und welche sozialen Strukturen Wissenschaft prägen. Ein Beispiel ist ein Meta-Experiment, an dem ich selbst teilgenommen habe. Mehrere Forschungsteams bearbeiteten darin dieselbe Fragestellung. Ziel war es, die Vielfalt der Forschungsdesigns sichtbar zu machen und zu verstehen, wie unterschiedlich wissenschaftliche Fragen angegangen werden können. Solche Ansätze sind typische Produkte der Open-Science-Bewegung: Sie zielen darauf, Forschung nicht nur durchzuführen, sondern sie auch in ihren Grundannahmen und Praktiken kritisch zu hinterfragen.

Welche Schritte wären aus Ihrer Sicht in der Volkswirtschaftslehre noch nötig, damit Open Science stärker zum Mainstream wird?

TF: Ein zentraler Punkt ist der Begutachtungsprozess. Entscheidend ist die Frage, wie Open-Science-Praktiken wie beispielsweise Präregistrierungen in Gutachten bewertet werden. Derzeit gibt es hier noch eine große Heterogenität. Manche Gutachter:innen ignorieren die Präregistrierung völlig, was problematisch ist, weil sie nur dann Glaubwürdigkeit entfaltet, wenn sie im Review-Prozess auch tatsächlich berücksichtigt wird. Auf der anderen Seite erleben Forschende auch, dass bereits kleine Abweichungen von der ursprünglichen Präregistrierung stark kritisiert werden können. Das macht die Autor:innen angreifbar und kann wiederum dazu führen, dass Präregistrierungen eher als Risiko empfunden werden. Die Herausforderung besteht also darin, einen ausgewogenen Umgang zu finden. Gutachter:innen sollten Präregistrierungen ernst nehmen, sie aber auch in Relation zu den Ergebnissen und zur wissenschaftlichen Argumentation im Paper setzen. Eine Studie sollte nicht nur als „ausgefüllte Präregistrierung“ verstanden werden, sondern auch Raum für wissenschaftliche Flexibilität lassen. Hier sind auch die Herausgeber:innen der Journals gefragt, ein Bewusstsein dafür zu entwickeln, wie mit Abweichungen sinnvoll umzugehen ist.

Wie sind Ihre eigenen Erfahrungen mit der Frage, wie stark Präregistrierungen Forschende fesseln und wie flexibel Abweichungen gehandhabt werden?

TF: Meine Haupterfahrung ist, dass es meist einen pragmatischen Umgang gibt. Präregistrierungen erhöhen vor allem die Nachvollziehbarkeit, und Abweichungen lassen sich in der Regel gut begründen. Problematisch wird es nur in Ausnahmefällen, entweder wenn sie im Begutachtungsprozess ignoriert werden oder als bequemer Vorwand für Kritik dienen. Wichtig ist, zwischen gravierenden Verstößen, etwa nachträglichem Datensammeln zur Erzeugung signifikanter Effekte, und nachvollziehbaren Anpassungen zu unterscheiden. Letztlich braucht es eine gesunde, fallbezogene Bewertung durch Gutachter:innen.

Es heißt oft, dass starker Wettbewerb, sei im Sport oder in der Wissenschaft, Anreize für Doping oder Betrug schafft. Sehen Sie als Verhaltensökonom, der zum Lügen forscht, Parallelen zwischen Ihren Forschungserkenntnissen und den Anreizen für fragwürdige Forschungspraktiken?

TF: Aus der Forschung wissen wir: Manche Menschen lügen, viele aber sagen die Wahrheit. Ähnlich verhält es sich in der Wissenschaft. Für die große Mehrheit der Forschenden wäre Betrug undenkbar, schlicht, weil sie intrinsisch motiviert sind, die Welt zu verstehen. In diesem Erkenntnisinteresse ergibt Lügen keinen Sinn, weil wir uns der Wahrheit nähern wollen. Dennoch gibt es Fälle von Manipulation, wie wir aus der Vergangenheit wissen. Eine interessante Einsicht aus der Lügen-Forschung ist die Korrelation zwischen eigenem Verhalten und den Erwartungen gegenüber anderen: Wer selbst nicht lügt, geht meist auch davon aus, dass andere ehrlich sind. Wer lügt, unterstellt häufiger, dass auch andere lügen. Das könnte erklären, warum wissenschaftliche Skandale so große Empörung auslösen. Viele Forschende sind überrascht, weil sie sich ein solches Verhalten schlicht nicht vorstellen können. Es widerspricht ihren fundamentalen Werten. Konkrete institutionelle Konsequenzen ergeben sich daraus nicht unmittelbar. Aber es verdeutlicht, warum Betrugsfälle die Community immer wieder stark erschüttern: Sie widersprechen den Grundannahmen, nach denen die meisten gewissenhaft arbeiten und davon ausgehen, dass andere es ebenso tun.

Es gibt Beobachtungen, die auf problematische Strukturen im Wissenschaftssystem hindeuten. Veröffentlichungen werden häufig strategisch betrieben. Der Ort, wo Forschung publiziert wird, ist zum Teil wichtiger als die Erkenntnis selbst. Hinzu kommen Phänomene wie „Paper Mills“, die mit Fake-Publikationen die Wissenschaftslandschaft beschmutzen. Das System schafft einen enormen Druck. Wo sehen Sie die kritischen Punkte, gerade aus Ihrer Perspektive der Lügenforschung, die vielleicht nicht sofort offensichtlich sind?

TF: Ich stimme Ihnen zu. Publizieren ist oft hochstrategisch. Manchmal bewegen sich wissenschaftliche Studien in Grauzonen, in denen nicht offen über Ergebnisse gelogen, sondern eher selektiv berichtet wird. Meine Kollegin Valeria Burdea forscht dazu, wie Menschen mit vagen Formulierungen arbeiten. Viele vermeiden bewusstes Lügen, sind aber bereit, vage zu bleiben, wenn sie damit bestimmte Eindrücke erzeugen können. Übertragen auf den Publikationsprozess heißt das: Forschende lassen beispielsweise Tests weg, die sie durchführen könnten, statt Ergebnisse zu verfälschen. Dieses selektive Reporting fällt weniger auf, kann aber dennoch ein verzerrtes Bild erzeugen. Solche Praktiken kommen immer mal wiedervor. Vollständig wird man sie wohl nie verhindern können. Hier setzt Open Science an: Wenn Daten und Analysen zugänglich sind, können andere Forschende Ergebnisse überprüfen und Robustheit sowie Replizierbarkeit testen. Das schafft Transparenz und setzt Anreize, übermäßig strategisches Verhalten einzuschränken. Aber klar ist auch: Der Druck zu publizieren bleibt ein struktureller Bestandteil des Systems.

Der Verein für Socialpolitik hat sich unter dem Vorsitz von Professor Klaus Schmidt das Thema Open Science auf die Agenda gesetzt. Welche Kraft haben Fachgesellschaften aus Ihrer Sicht, wenn es darum geht, eine ganze Disziplin für Open-Science-Praktiken zu gewinnen?

TF: Fachgesellschaften verfügen über mehrere Hebel. Ein wichtiger Punkt ist die Sensibilisierung. Fachgesellschaften können nicht nur Forschende erreichen, die Open-Science-Praktiken bereits selbst anwenden, sondern auch jene, die Forschungsergebnisse konsumieren und bewerten. Für beide Gruppen ist es entscheidend zu verstehen, was der Sinn hinter Open Science ist, was hinter einzelnen Praktiken wie Präregistrierung oder Datenoffenlegung steht und warum sie in manchen Bereichen, etwa in der experimentellen Forschung, verbreiteter sind als in anderen. Der zweite Hebel betrifft die institutionelle Ebene. Fachgesellschaften geben eigene Journals heraus und können dort konkrete Standards setzen. Ein Beispiel sind Registered Reports, bei denen Forschungsdesigns vor der Datenerhebung eingereicht und begutachtet werden. Solche Formate fördern Transparenz und mindern Publikationsbias. Fachgesellschaften können diese Entwicklungen nicht nur in ihren Zeitschriften implementieren, sondern auch in Ausschüssen und Gremien weitertragen und so innerhalb der gesamten Disziplin verankern.

Wie nehmen Sie die aktuelle Situation in der wirtschaftswissenschaftlichen Fachgemeinschaft wahr? Ist Open Science beschränkt auf Karrierestufen oder Subdisziplinen wie die Verhaltensökonomie?

TF: Meine Eindrücke stammen vor allem aus der experimentellen Community, etwa im Umfeld der Economic Science Association, dem Dachverband der Experimentalökonom:innen. Dort hat es in den vergangenen Jahren einen deutlichen Push in Richtung Sensibilisierung gegeben. In meiner Generation von Forschenden ist es inzwischen gängige Praxis, Studien zu präregistrieren und Codes sorgfältig zu dokumentieren. Zumindest in diesem Bereich sehe ich eine positive Entwicklung und eine breite Akzeptanz von Open-Science-Praktiken.

Halten Sie es als Verhaltensökonom für effektiver, zu belohnen oder zu sanktionieren

TF: Ich sehe vor allem die Wirkung leichter positiver Anreize. Ein gutes Beispiel sind Präregistrierungen. Vor zehn bis fünfzehn Jahren galten Präregistrierungen als Besonderheit und wurden positiv bewertet. Inzwischen haben sich die Normen verschoben: Heute fällt es eher negativ auf, wenn eine Studie keine Präregistrierung hat. Wir erleben also einen Regime Shift von einem „Open-Science-Bonus“ hin zu einem „Intransparenz-Malus“. Ein Bereich, in dem ich mir mehr positive Anreize wünschen würde, sind Outlets für nicht erfolgreiche oder unerwartete Ergebnisse. Hier fehlt bislang ein funktionierendes Belohnungssystem. Das ließe sich nur durch gezielte positive Anreize schaffen.

Mit „nicht erfolgreich“ meinen Sie nicht signifikante Ergebnisse?

TF: Genau, nicht signifikante oder auch unerwartete Ergebnisse. Das lässt sich nicht durch Sanktionen lösen, etwa indem man Forschende zwingt, jedes Experiment zu veröffentlichen. Wirksamer wären positive Anreize: spezielle Outlets, in denen kurze Berichte erscheinen können. Etwa nach dem Motto: „Ich habe dieses Experiment durchgeführt, es hat nicht funktioniert oder mich überrascht – hier sind die Daten und Materialien.“

Wo haben Sie persönlich konkrete Vorteile durch Open-Science-Praktiken erlebt – sei es bei Präregistrierungen, Registered Reports, Metaanalysen oder Replikationsprojekten?

TF: Ein prägendes Erlebnis war eine Replikationsstudie im Rahmen des Institute for Replication. Ich habe dort ein Paper repliziert, mit den vom Journal bereitgestellten Daten und Code. Dabei wurde mir bewusst, wie wichtig es ist, die eigene Forschung so zu organisieren, dass sie vollständig reproduzierbar ist. Ideal ist ein Workflow, bei dem ich von den Rohdaten bis zu den Tabellen im Paper alles mit einem Klick nachvollziehen kann. Das hilft nicht nur anderen, sondern auch mir selbst. Wenn ich nach zwei Monaten zurückkehre, weiß ich sofort, wie ich meine Ergebnisse reproduzieren kann, und bin sicher, dass sie nicht durch Copy-Paste-Fehler oder schlecht dokumentierten Code verfälscht wurden. Zwei Erfahrungen waren dabei besonders wertvoll: Zum einen habe ich gesehen, wie gut die Autor:innen des replizierten Papers gearbeitet hatten, und viel daraus gelernt. Zum anderen hatte ich in meinem Promotionsprogramm einen Kurs von Hans-Martin von Gaudecker, in dem es um Forschungsorganisation ging, also um sauberes Programmieren, klare Ordnerstrukturen und nachvollziehbare Ablage. Das klingt banal, war für mich aber zentral. Bis heute profitiere ich davon und ich bin dankbar, weil ich jederzeit ein Projekt öffnen und sofort nachvollziehen kann, wo alles liegt.

Haben Sie weitere Erfahrungen gemacht?

TF: Ja, ich war Teil eines Many-Design-Metaexperiments mit rund 100 Autor:innen. Spannend war vor allem die Zusammenarbeit in einem so großen, internationalen Team. Oft wusste ich während des Prozesses gar nicht genau, wie die anderen ihre Forschungsfragen bearbeiten, und habe dadurch viel über unterschiedliche Herangehensweisen gelernt. Gleichzeitig entstehen durch solche Projekte wertvolle Netzwerke. Ich treffe jetzt Kolleg:innen auf Konferenzen, kann Verbindungen knüpfen und habe gemeinsame Referenzpunkte. Gerade für Forschende am Beginn ihrer Laufbahn sind solche Projekte eine wichtige Möglichkeit, Teil der Community zu werden und mit Leuten in Kontakt zu treten.

Wenn Sie an den Beginn Ihrer Promotionszeit zurückdenken, fühlen Sie sich heute stärker mit Ihrer wissenschaftlichen Community verbunden?

TF: Ja, auf jeden Fall. Das liegt vor allem daran, dass wir inzwischen viel mehr über den Forschungsprozess selbst sprechen. Während der Promotion entstehen erste persönliche Verbindungen, aber wirklich prägend ist das Lernen darüber, wie Forschung konkret betrieben wird, auch von den Seniors. Das erfährt man nicht allein durch das Lesen von Papern. Diese zeigen nur das Endprodukt, nicht den Weg dorthin. Open-Science-Diskussionen hingegen machen sichtbar, wie etablierte Forschende tatsächlich arbeiten und welche Überlegungen hinter den veröffentlichten Ergebnissen stehen. Dieser Einblick war für mich ein wichtiger Erfahrungsprozess in der Promotion. Und ich bin dem sehr dankbar, dass es diesen Diskurs gibt und gegeben hat.

Welche Vorteile haben Wirtschaftswissenschaftler:innen, die Open-Science-Praktiken anwenden? Angenommen, Sie sprechen mit jemandem, der gerade ins Fach einsteigt, was würden Sie empfehlen?

TF: Ein zentrales Instrument ist die Präregistrierung. Ihr offensichtlicher Vorteil ist Transparenz. Ein weiterer sehr praktische Vorteil ist jedoch: Man erkennt eigene Fehler frühzeitig. Wer eine Präregistrierung oder einen detaillierten Pre-Analysis-Plan erstellt, muss sich konkrete Fragen stellen: Was erlaubt mein Forschungsansatz überhaupt? Welche Hypothesen lassen sich testen, welche nicht? Wo liegen die statistischen Herausforderungen?

Gerade am Anfang ist man oft voller Enthusiasmus und will sehr schnell Daten erheben. Die Gefahr dabei ist, wichtige Überlegungen zu überspringen. Präregistrierungen forcieren, innezuhalten und schwierige Fragen vorab zu klären, etwa zur Fallzahl oder zur Robustheit des Designs. Ich habe immer wieder erlebt, dass wir beim Schreiben einer Präregistrierung Probleme erkannt und unser Design angepasst haben. Deshalb würde ich jeder Nachwuchswissenschaftlerin und jedem Nachwuchswissenschaftler dringend raten, diese Praxis zu nutzen: Sie schafft nicht nur Transparenz, sondern schützt auch vor vermeidbaren Fehlern.

Gibt es in der VWL einen Generationenunterschied beim Thema Open Science? Und wie erleben Sie das Zusammenspiel zwischen älteren und jüngeren Forschenden?

TF: Natürlich gibt es Heterogenität. Persönlich habe ich aber gute Erfahrungen gemacht. Auch Senior-Forschende, mit denen ich gearbeitet habe, standen Open Science sehr positiv gegenüber. Meine Betreuerin Agne Kajackaite hat das Thema etwa in unserer Zusammenarbeit sehr gepusht. Grundsätzlich ist Open Science für die jüngere Generation oft selbstverständlicher, während etabliertere Forschende gelegentlich zurückhaltender sind. Nachvollziehbar ist das insofern, als sie lange ohne solche Praktiken gearbeitet haben und manche Forschungsdesigns so klar strukturiert sind, dass eine Präregistrierung nicht zwingend erscheint. Beide Seiten können voneinander lernen: Jüngere sollten vermeiden, zu dogmatisch oder perfektionistisch an Open Science heranzugehen. Overthinkung kann auch problematisch sein. Gleichzeitig ist mehr Transparenz ein wichtiges Ziel für das gesamte Fach, von dem alle profitieren.

Wenn Sie als Verhaltensökonom ein neues Anreizsystem für die Wissenschaft auf einem weißen Blatt Papier entwerfen könnten, wie sähe das aus?

TF: Entscheidend wäre für mich, Mechanismen einzubauen, die dafür sorgen, dass wir Forschung stärker nach der Qualität des Designs und weniger nach den Ergebnissen bewerten. Ein konkretes Instrument dafür sind Registered Reports, deren breitere Akzeptanz ich mir wünschen würde. Das zweite Problem ist die enorme Bedeutung einzelner Publikationen. Sie führt dazu, dass Publizieren oft strategisch betrieben wird. In der VWL hängt das stark mit der Dominanz einiger weniger Top-Journals zusammen. Diese Monopolstellung aufzubrechen wäre ein wichtiger Schritt – auch wenn das deutlich schwieriger umzusetzen ist.

Vielen Dank!

*Das Interview wurde am 20. August 2025 geführt von Dr. Doreen Siegfried.

Über Dr. Tilman Fries:

Dr. Tilman Fries ist Assistant Professor an der Ludwig-Maximilians-Universität München. Zuvor war er als Doktorand am Wissenschaftszentrum Berlin für Sozialforschung (WZB) tätig, wo er 2024 seine Promotion in Volkswirtschaftslehre an der Humboldt-Universität zu Berlin abschloss. Seine Forschungsinteressen liegen an der Schnittstelle von Verhaltensökonomie und experimenteller Wirtschaftsforschung, mit Fokus auf Erwartungsbildung in strategischen Interaktionen und das Zusammenspiel von Erwartungen und Präferenzen. Fries ist Mitglied des Sonderforschungsbereichs 190 „Rationality and Competition“ und Affiliate des CESifo-Forschungsnetzwerks.

Kontakt: https://tilmanfries.github.io/

Zurück zum Open-Science-Magazin