Lab²: Effizienz und Transparenz in der Forschung fördern

Sie sind Co-Principal Investigator von Lab², einem von der Leibniz-Gemeinschaft geförderten Zentrum für Replikationen und Metawissenschaften. Können Sie uns zunächst erklären, was die Hauptaufgabe von Lab² ist und wie es entstanden ist?

LN: Die abstrakteste Definition lautet: Lab² ist ein Inkubator für Replikation und Metawissenschaft. Mit einem großen Netzwerk organisieren, beteiligen und unterstützen wir die Forschungsgemeinschaft bei der Durchführung einer Vielzahl von Studien. Dazu gehören Eins-zu-Eins-Replikationen, konzeptionelle Replikationen, Meta-Analysen, Many-Designs, Many-Labs und Many-Analysts-Studien. Wir bieten Trainingsmaterialien zu Replikation, offener Wissenschaft und Transparenz an. Außerdem organisieren wir Veranstaltungen und bieten technische, intellektuelle und finanzielle Unterstützung für junge Forscher:innen.

Mit welchen spezifischen Ineffizienzen in der Forschung befasst sich Lab² und welche Strategien werden eingesetzt, um diese zu minimieren?

LN: Eine der größten Herausforderungen in der experimentellen Wirtschaftsforschung ist die Tatsache, dass Laborexperimente unter Powerproblemen (d.h. kleinen Stichprobenumfängen) und Problemen der externen Validität leiden. Angesichts der Tatsache, dass Forscherinnen und Forscher unter starkem Publikationsdruck stehen und signifikante Ergebnisse offensichtlich besser publiziert werden, unternehmen sie große Anstrengungen, um signifikante Ergebnisse in ihren Datensätzen zu finden. Wir bezeichnen diese Bemühungen als „”Freiheitsgrade der Forschung”, bei denen die Forscher:innen ihren Analysepfad frei wählen, der sie zu einem signifikanten Ergebnis führt.

Darüber hinaus werden sozialwissenschaftliche Experimente im Gegensatz zu den Naturwissenschaften von vielen unbeobachtbaren Faktoren beeinflusst. Anders als in einem Biologielabor kommen die Teilnehmer:innen in den Wirtschaftswissenschaften mit ihrer sozioökonomischen Geschichte ins Labor sowie mit ihren Emotionen, täglichen Stimmungen, politischen Anliegen und vielen anderen Faktoren, die ihr Verhalten beeinflussen. Während die Stichproben der Student:innen homogener und miteinander vergleichbar sind, sind sozialwissenschaftliche Experimente zwangsläufig weniger reproduzierbar als naturwissenschaftliche Experimente. Im Labor2 unterstützen wir nachdrücklich Pre-Analysis-Plans (PAPs). Ein PAP ist eine detaillierte Version einer Präregistrierung. Er enthält genaue und detaillierte Informationen darüber, wie die Daten erhoben werden, wie der Datensatz erstellt, analysiert und interpretiert wird. Er sollte vor der Datenerhebung erstellt und in einem Online-Repository registriert werden. Wenn also der Datensatz fertig ist, ist auch die Analyse fertig.

Zusätzlich zu den PAPs unterstützen wir kollaborative Studien, wie z.B. Many-Labs-Studien. In einer Multi-Laborstudie führen mehrere Laboratorien das gleiche Experiment mit den gleichen Instruktionen und dem gleichen Code durch. Auch die Datenanalyse erfolgt standardisiert. Solche Studien liefern aussagekräftige und zuverlässige Ergebnisse, im Gegensatz zu einer Anhäufung kleiner Studien mit ähnlichem Design, aber inkonsistenten Ergebnissen. Daher können solche groß angelegten Kooperationen dazu beitragen, Ineffizienzen in der Forschung zu verringern.

Wie trägt Lab² zum Abbau von Ungleichheiten beim Zugang zu Informationen bei? Welchen Beitrag leistet Lab² zu Open Science?

LN: Lab² unterstützt Transparenz und offene Wissenschaft in allen Phasen der Forschung. Dazu gehört auch die Phase der Ideenentwicklung. Wir werden eine Seminarreihe „hinter den Kulissen“ durchführen und diese in verschiedenen Medienformaten dokumentieren, um zu zeigen, dass wissenschaftlicher Erfolg mit vielen Ablehnungen und Fehlern einhergeht. Weder die sozialen Medien, noch die Forscher:innen neigen dazu, die gesamte Tiefe des Eisbergs zu zeigen.

Das Open Science Framework (OSF) und die ZBW sind Kooperationspartner des Labors², mit denen wir bei der Stärkung der wissenschaftlichen Normen für bewährte Verfahren zusammenarbeiten werden. Wir haben auch einen visuellen Künstler an Bord, der uns bei der Erstellung und Verbreitung von Schulungsmaterialien wie Postern, Videos und einer mobilen App helfen wird.

Wie ist die Zusammenarbeit mit verschiedenen Institutionen innerhalb des Lab2-Kernforschungsteams organisiert?

LN: Es gibt verschiedene Arten der Zusammenarbeit innerhalb der Organisation. Erstens waren viele von uns Co-Autor:innen. Daher wissen wir von der Forschung der anderen und stehen in direktem oder indirektem Kontakt. Die Forschungsagenda des Labors² sollte jedoch kein Nischenthema sein, das von ein und demselben Forschernetz bearbeitet wird. Deshalb wollen wir auch Forschende erreichen, die sich nicht mit Replikationen oder metawissenschaftlichen Studien beschäftigt haben. Deshalb kündigen wir unsere Studien öffentlich an. Erfreulicherweise erhalten wir viele E-Mails von Forscher:innen aus der ganzen Welt, die ihr Interesse an einer Zusammenarbeit mit uns bekunden.

Ich möchte aber auch betonen, dass es nicht unser Ziel ist, Lab² zentralisiert zu betreiben. Mit anderen Worten: Wir ermutigen sowohl die Mitglieder von Lab²  als auch die Forschungsgemeinschaft, ihre eigenen Crowd-Science-Projekte, Replikationsstudien oder Veranstaltungen zu organisieren. Wir sind jederzeit bereit, sie mit unseren Verbindungen, Erfahrungen und Ressourcen zu unterstützen.

Wie verbreitet sind Ihren jüngsten Erhebungen zufolge Präregistrierungs- und Präanalysepläne in der experimentellen Wirtschaftswissenschaft?

LN: Das allgemeine Bild ist eigentlich vielversprechend. Vor allem bei den Präregistrierungen. Wir haben eine ausführliche Umfrage bei rund 500 Teilnehmer:innen des Economic Science Association World Meetings im Jahr 2023 durchgeführt. 86 Prozent von ihnen gaben an, dass sie mindestens eine ihrer bisherigen Studien präregistriert hatten. Weitere Antworten zeigen, dass die experimentelle Wirtschaftswissenschaft der Präregistrierung sehr wohlwollend gegenübersteht. Allerdings haben sie auch Bedenken. So möchten sie zum Beispiel in der Lage sein, explorative Analysen durchzuführen, auch wenn sie nicht präregistriert wurden. Sie sind sich der Tatsache bewusst, dass sie transparent machen müssen, wie streng sie ihren Plan verfolgen und was nicht präregistriert wird.

Der Inhalt der Präregistrierungs- und Präanalysepläne ist jedoch sehr heterogen. Einige Forscher:innen erstellen sehr detaillierte Dokumente, andere wiederum sehr vage Pläne. Da die meisten Zeitschriften keine Leitlinien für Präregistrierungen und Pre-Analysis-Pläne vorschreiben oder zur Verfügung stellen, sind vereinfachte Präregistrierungen natürlich weiter verbreitet.

Es ist auch nicht ganz klar, wie PAPs funktionieren. Bewerten Gutachter:innen und Redakteur:innen zum Beispiel Arbeiten mit PAPs positiver? Schreiben Forschende, die ausführliche PAPs verfassen, auch bessere Arbeiten, und welche Kausalität besteht? Solche Fragen sind mit den vorliegenden Daten nur schwer zu beantworten, aber wir werden im Laufe des Projekts mehr über die Mechanismen erfahren.

Können Sie etwas zu den laufenden Bemühungen sagen, die Bedeutung der verschiedenen Forschungsentscheidungen durch Multi-Design- oder Analystenstudien zu verstehen?

LN: Es gibt drei verschiedene Arten von Heterogenität, die wir mit unserem Forschungsprogramm angehen wollen: Heterogenität der Population, des Designs und der Analyse. Studien mit vielen Laboren, vielen Designs und vielen Analytikern entsprechen jeder dieser Arten.

In einer Studie mit vielen Labors können wir untersuchen, wie sich die Ergebnisse von Labor zu Labor unterscheiden. Wir können unsere Multi-Labor-Studien mit weiteren Populationen wie Online-Teilnehmer:innen, der Allgemeinbevölkerung, repräsentativen Stichproben oder speziellen Stichproben wie Fachkräften oder vermögenden Personen ausweiten. Derzeit entwickeln wir eine Multi-Labor-Studie über die gemeinsame Rolle materieller, kultureller, kognitiver und sozialer Antriebe für die Zusammenarbeit. Wir wollen in den kommenden Jahren viele weitere Studien dieser Art durchführen.

Many-Designs-Studien sind eine neue Methode, die uns begeistert. Die erste von den Forscher:innen des Labors² organisierte oder durchgeführte Many-Designs-Studie befasste sich mit Wettbewerb und moralischem Verhalten. 45 Experimente, die eine einzige Forschungsfrage mit unterschiedlichen Designs untersuchten, wurden in Prolific durchgeführt. Anschließend wurden diese 49 Experimente in eine Meta-Analyse einbezogen. Diese Studie wurde letztes Jahr in PNAS veröffentlicht und umfasste mehr als 80 Co-Autor:innen. Eine neue Many-Designs-Studie zum Thema CO²-Bepreisung wird derzeit von unseren Kolleg:innen an der Universität Innsbruck organisiert.

Schließlich sind wir dabei, unsere Vorbereitungen für eine Studie mit vielen Analyst:innen auf der Grundlage von SOEP-Daten abzuschließen. Zu diesem Zweck stehen wir in engem Kontakt mit unseren Kolleg:innen am DIW.

Wie unterstützt Lab² Forschende dabei, die Geschichten hinter ihren Projekten durch Umfragen oder Interviews zu erzählen?

LN: Mit den Seminaren hinter den Kulissen und mit Hilfe verschiedener Medienformate wollen wir Erfolgs- und Misserfolgsgeschichten unterhalb des Eisbergs des wissenschaftlichen Erfolgs verbreiten. Wir halten dies für sehr wichtig, da Nachwuchswissenschaftlerinnen und Nachwuchswissenschaftler besonders starkem Wettbewerb und Unsicherheiten in Bezug auf ihr berufliches und persönliches Leben ausgesetzt sind. Die Geschichten von Gleichaltrigen und Älteren können ihnen einen realistischeren und transparenteren Überblick über wissenschaftliche Karrieren vermitteln.

Gibt es bestimmte Projekte oder Ergebnisse des Lab² , die Sie als besonders innovativ oder einflussreich ansehen würden?

LN: Lab² ist eine neue Initiative, die offiziell im Oktober 2024 beginnen wird, deren Mitglieder in der Vergangenheit bedeutende Studien veröffentlicht haben.

Anna Dreber und Magnus Johannesson beschäftigen sich seit Langem mit Reproduzierbarkeit und Metawissenschaft. „Estimating the reproducibility of psychological science“ (Science, 2015), „Evaluating replicability of laboratory experiments in economics“ (Science, 2016) sind zwei der einflussreichsten, groß angelegten Studien, die im letzten Jahrzehnt veröffentlicht wurden.

Eine neuere Studie, „Nonstandard errors“ (Journal of Finance, 2024), leistet ebenfalls einen großen methodischen Beitrag zu diesem Bereich.

Unsere jüngste Studie „Does cognitive reflection relate to economic preferences and socio-economic outcomes“ (JPE-Micro, in Vorbereitung) ist eine Studie, an der ich sehr gerne gearbeitet habe. Sie ist ein gutes Beispiel dafür, wie die externe Validität von Laborergebnissen in Haushaltspanels untersucht werden kann.

Wie sieht der typische Lebenszyklus eines Forschungsprojekts im Lab² aus, von der Idee bis zur Veröffentlichung?

LN: Das hängt von der Studie und der Methodik ab. Wenn das Lab² die Studie organisiert, würden wir uns gegebenenfalls mehrmals treffen. Meistens arbeiten wir aber interaktiv an einem Cloud-Dokument, und das geht recht schnell. Dieses Dokument wird dann zu unserem PAP. Dann registrieren wir den PAP und fahren mit der Datenerfassung/Datensatzerstellung fort. Sobald die Datenerfassung abgeschlossen ist, geht die Analyse der Daten und das Verfassen der Arbeit recht schnell. Denn wir haben ja den PAP, der uns leitet.

Vor welchen besonderen Herausforderungen stehen Sie, wenn Sie neue Technologien oder Methoden in die Lab²-Plattform integrieren?

LN: Eine große Herausforderung sind die Unterschiede zwischen den rechtlichen Anforderungen und den Praktiken in den verschiedenen Labors. In einigen Ländern können die Forscher:innen die Teilnehmenden nicht einfach bezahlen. Einige Labors zahlen den Teilnehmer:innen Bargeld, andere überweisen es ihnen. Einige Labors haben keine finanziellen Mittel, um an den Studien teilzunehmen. In diesen Fällen ist es ziemlich schwierig, Mittel zu senden oder zu erhalten. Die deutschen Rechnungslegungsvorschriften machen es besonders schwierig, Mittel ins Ausland zu überweisen, obwohl die internationale Zusammenarbeit angeblich gefördert werden soll.

Auch bei der verwendeten Software gibt es einige Unterschiede. So verwenden einige Labore ORSEE, eine gängige Plattform zur Teilnehmerrekrutierung, andere wiederum SONA. Darüber hinaus können auch die statistischen Werkzeuge variieren. In unserer Studie mit vielen Analytiker:innen müssen wir zum Beispiel STATA statt anderer Software wie Matlab verwenden, um die Zusammenarbeit in großem Maßstab zu vereinfachen.

Wie sieht die Zukunft von Lab² aus? Sind neue Projekte oder Erweiterungen geplant?

LN: Unser Ziel ist es, Lab² kontinuierlich zu betreiben und auszubauen. Aus diesem Grund wollen wir uns nicht in zu viele Studien und Aktivitäten stürzen, sondern vorsichtig und systematisch wachsen. Besonders das erste Jahr des Projekts ist entscheidend.

Wir haben zwar viele Projekte geplant und Ideen, die wir weiterentwickeln wollen, aber wir sind auf zwei Dinge bedacht: Erstens sollten wir auch in Zukunft genügend Ressourcen (z. B. Zeit, Budget, Personal) für neue Ideen von Lab² -Mitgliedern haben. Zweitens wollen wir nicht zu viel versprechen, sondern der Forschung mit höchster Qualität den Vorrang geben.

Wir haben drei mittel- und langfristige Perspektiven.

Erstens wollen wir uns auf den Globalen Süden, die Entwicklungsländer und die Nicht-WEIRD-Gesellschaften im Sinne von Joseph Heinrichs Definition ausweiten. Denn die große Mehrheit der experimentellen und verhaltenswissenschaftlichen Erkenntnisse basiert auf westlichen Gesellschaften.

Zweitens wollen wir versuchen, neue Methoden für die Replizierbarkeit und die metawissenschaftliche Forschung zu entwickeln. Dazu gehören Studien mit vielen Panels, Replikationen von Feldexperimenten, künstliche Intelligenz und Sprachmodelle oder Gamification.

Drittens wollen wir die Wirtschaftswissenschaften auch auf andere Sozialwissenschaften ausweiten. Politikwissenschaften, Psychologie, Verhaltenswissenschaften und Soziologie sind unsere engsten Nachbarbereiche.

Diese Aussichten hängen natürlich von der Verfügbarkeit von Unterstützung durch Geldgeber und die Forschungsgemeinschaft ab. Die Leibniz-Gemeinschaft und Deutschland eignen sich besonders gut, um das Lab² in den nächsten Jahren weiterzuentwickeln. WZB, ZBW, DIW, RKW, ifo, GESIS sind einige der Leibniz-Institute, mit denen das Lab² bereits zusammenarbeitet.

Wie kann die wissenschaftliche Gemeinschaft oder die interessierte Öffentlichkeit an den Bemühungen von Lab² teilnehmen oder diese unterstützen?

LN: Sie können sich einfach mit ihren Ideen an uns wenden. Sie können sich als einzelne Forscher:innen, institutionelle Partner oder Labore an Lab² beteiligen. Sie können an unseren Crowd-Science-Projekten, Seminarreihen und Veranstaltungen teilnehmen. Sie können uns auch als Gastforscher:innen besuchen, um gemeinsam an einem Projekt zu arbeiten.

Wie lautet Ihre persönliche Einschätzung und Perspektive auf Open Science?

LN: Open-Science hat sich zu einem wissenschaftlichen Standard entwickelt. Sie erfordert jedoch die Koordination verschiedener Interessengruppen. Forscher:innen sollten offen über ihre wissenschaftlichen Praktiken und Ressourcen sprechen. Die Erstellung von Prä-Analyseplänen, die Transparenz ihrer eigenen Forschung und die gemeinsame Nutzung von Datensätzen und Codes in offenen Repositories sind einige der einfachsten Möglichkeiten, wie Forscher:innen zu Open Science beitragen können.

Sie sollten nicht in Frage gestellt werden, wenn ihre Ergebnisse erneut geprüft werden, und ebenso sollten sie bereit sein, die Ergebnisse anderer Forscher:innen erneut zu prüfen. Es ist immer hilfreich, sich mit den Autor:innen der ursprünglichen Arbeit abzustimmen. Sie sind in der Regel sehr hilfsbereit.

Zeitschriften sollten offen für die Veröffentlichung von Replikationen sein und die Verlage sollten die Veröffentlichung von Open-Access-Publikationen erleichtern und verbilligen. Ebenso sollten die Geldgeber Forschende mit Replikationsstudien, Open-Access-Gebühren und institutionellen Ausnahmevereinbarungen unterstützen.

Herzlichen Dank!

Das Interview wurde geführt mit Dr. Doreen Siegfried am 14. Juni 2024.

Über Dr. Levent Neyse:

Dr. Levent Neyse ist Verhaltensökonom in der Gruppe Marktverhalten am WZB, Berlin, und im Sozio-oekonomischen Panel (SOEP) am DIW, Berlin. Er arbeitet als Mitherausgeber für das Journal of Behavioral and Experimental Economics.

Er ist Co-PI von Lab^2, einem von der Leibniz-Gemeinschaft geförderten Zentrum für Replikationen und Metawissenschaften.

Kontakt: https://sites.google.com/site/leventneyse

ResearchGate: https://www.researchgate.net/profile/Levent-Neyse

OSF: https://osf.io/sdq32/#!