Effiziente offene Wissenschaft erfordert effektive Datenorganisation

Die drei wichtigsten Erkenntnisse:

• Die Open-Science-Bewegung trägt zur Glaubwürdigkeit der Forschung bei und verbessert die Verfügbarkeit von Daten und Code, was die Nachvollziehbarkeit und Überprüfbarkeit von Forschungsergebnissen erhöht. Diese Praktiken sind besonders wichtig, um wissenschaftliche Behauptungen und Vorhersagen transparent und überprüfbar zu machen.
• Für eine erfolgreiche Integration von Open Science in die Forschung empfiehlt es sich, von Anfang an reproduzierbare Strukturen für Daten und Analysen zu schaffen.
• Eine gute Organisation und Vorbereitung kann langfristig Zeit sparen und die Qualität der Forschung verbessern, indem sie die Reproduzierbarkeit und Transparenz fördert.

Was ist Ihr Forschungsgebiet?

DE: Ich möchte einen Beitrag zur Literatur an der Schnittstelle zwischen der Verhaltensökonomie und zwei anderen Bereichen leisten: der Wissenschaft der Wissenschaft (Metawissenschaft und Innovation) und der Arbeitsökonomie. Innerhalb der Verhaltensökonomie liegt mein Hauptaugenmerk auf Überzeugungen, mit einem besonderen Schwerpunkt auf der Bildung, Erhebung und Leistung von Prognosen, d. h. Überzeugungen über zukünftige Ereignisse oder Variablen. Die meisten meiner Projekte untersuchen die Auswirkungen von verzerrten und/oder verrauschten Überzeugungen auf wichtige wirtschaftliche Ergebnisse.

Wie ist Ihre allgemeine Haltung zum Thema Open Science?

DE: Meine erste Berührung mit Open Science hatte ich als Masterstudent an der Stockholm School of Economics. Dort hatte ich das Glück, Anna Dreber und Magnus Johannesson kennenzulernen, zwei begeisterte Verfechter:innen von Open-Science-Praktiken, und meine Masterarbeit von Magnus betreuen zu lassen. Während dieser Zeit wurde ich von Anna angeworben, um gemeinsam mit ihr, Gary Charness, Adam Gill und Séverine Toussaert einen Bericht über den Stand des Peer-Review-Verfahrens in den Wirtschaftswissenschaften zu schreiben. Ein Kapitel dieses Berichts ist ausschließlich der (geringen) Verbreitung von Open Access, Open Reviewing und anderen Open-Science-Praktiken im Peer-Review-Verfahren in den Wirtschaftswissenschaften gewidmet.

Im Großen und Ganzen bin ich der Meinung, dass die Open-Science-Bewegung für die Glaubwürdigkeit und den Nutzen der akademischen Forschung von Vorteil ist. Forscher:innen und Fachzeitschriften scheinen neuartigen, auffällig klingenden Ergebnissen skeptischer gegenüberzustehen als früher, da sich viele dieser Ergebnisse letztendlich nicht wiederholen lassen. Darüber hinaus werden der Code und die Daten, die für die Reproduktion von Manuskripten benötigt werden, jetzt routinemäßig zum Zeitpunkt der Veröffentlichung veröffentlicht, was es jedem ermöglicht, grundlegende Glaubwürdigkeitsprüfungen neuer Forschungsergebnisse durchzuführen und hoffentlich Anreize für betrügerische und unethische Forschungspraktiken zu verringern. Langfristig dürften diese Praktiken der Glaubwürdigkeit und dem Ansehen der sozialwissenschaftlichen Forschung in den Augen der politischen Entscheidungsträger:innen und der Öffentlichkeit zugute kommen.

Allerdings sehe ich hier mindestens einen großen Vorbehalt. Open-Science-Praktiken wie die Präregistrierung, die Vorbereitung von Daten und Code für die Veröffentlichung und erweiterte Dokumentationsanforderungen können für Autor:innen, Redakteur:innen und Gutachter:innen unglaublich zeitaufwendig sein. Sie können für Forscher:innen mit geringen Mitteln und für Nachwuchswissenschaftler:innen tatsächlich ein Hindernis für den Einstieg (und die Fortsetzung) darstellen. Außerdem tragen sie wahrscheinlich zu dem Trend bei, dass Manuskripte und Bearbeitungszeiten von Zeitschriften immer länger werden, zumindest in den Wirtschaftswissenschaften. Ich glaube, dass unsere akademische Kultur von der Förderung kürzerer Arbeiten und häufigerer Replikationen profitieren könnte, anstatt zu erwarten, dass eine einzige Arbeit die endgültige Antwort auf eine bestimmte Forschungsfrage liefert. Wie bei allem anderen geht es auch hier nur darum, das optimale Gleichgewicht zwischen Open-Science-Praktiken, die unserer Glaubwürdigkeit als Wissenschaftler:innen zugute kommen, und der Förderung eines lebendigen, reaktionsfreudigen wissenschaftlichen Diskurses zu finden.

Möchten Sie uns ein Beispiel für ein bewährtes Verfahren in Ihrem Bereich nennen?

DE: Wie ich bereits erwähnt habe, hat sich ein Großteil meiner Forschung auf Überzeugungen konzentriert. In diesem Zusammenhang hat mich die von Stefano DellaVigna und anderen befürwortete Erhebung von Vorhersagen von Forschungsergebnissen als Open-Science-Praxis zunehmend fasziniert – d. h. die Messung der Überzeugungen von Wissenschaftler:innen über die wahrscheinlichen Ergebnisse einer bestimmten Studie. Diese Praxis ist in den Wirtschaftswissenschaften zunehmend verbreitet, wird aber in anderen Disziplinen relativ wenig genutzt.

Open-Science-Praktiken beziehen sich in der Regel auf Praktiken, die die Transparenz des Forschungsprozesses erhöhen oder die Forschung besser zugänglich machen, wie z. B. Open-Access-Zeitschriften. Die Idee hinter der Sammlung von Vorhersagen von Forschungsergebnissen ist es, die Vorurteile der wissenschaftlichen Gemeinschaft transparent zu machen. Da Autor:innen oft behaupten, ihre Studie bringe überraschende oder neuartige Ergebnisse hervor, besteht eine Möglichkeit, diese Behauptungen auf den Prüfstand zu stellen, darin zu sehen, ob andere Wissenschaftler:innen die Ergebnisse vorhersagen können.

Um diese Praxis besser zu verstehen, verfasse ich derzeit gemeinsam mit Taisuke Imai und Séverine Toussaert eine Arbeit über die Praxis der Vorhersage sozialwissenschaftlicher Forschungsergebnisse. Das Papier wird sowohl einen narrativen Überblick über den Ursprung dieser Praxis als auch eine quantitative Meta-Analyse von Arbeiten enthalten, die diese Praxis in der Vergangenheit verwendet haben. Wir hoffen, klare Einschätzungen des potenziellen Nutzens und der Kosten dieser Praxis zu liefern und Praktiker:innen bei der Entscheidung zu helfen, ob sie diese Vorhersagen in ihre eigene Forschung einbeziehen möchten.

Haben Sie besondere Erfahrungen gemacht, die Sie vielleicht überrascht haben?

DE: Ich habe bereits darauf hingewiesen, dass sich die Glaubwürdigkeit der Forschung und die Verfügbarkeit von Daten/Code dank der Open-Science-Bewegung erheblich verbessert hat. Dennoch haben mir einige Erfahrungen aus jüngster Zeit gezeigt, dass wir noch einen langen Weg vor uns haben. Insbesondere bei der Arbeit an dem Projekt zur Meta-Analyse von Prognosen musste ich mich durch die Dokumentation und die Replikationspakete vieler Arbeiten wühlen. Die meisten Autor:innen stellen zwar das erforderliche Material zur Verfügung, aber einige sind nicht in der Lage, es zu organisieren und eine zugängliche Dokumentation zu verfassen, um potenzielle Replikator:innen und andere Nutzer:innen der Pakete zu unterstützen. Obwohl ich den erheblichen Zeitaufwand verstehe, der mit der Erstellung dieser Pakete verbunden sein kann, scheint dies ein Bereich zu sein, in dem sich die Gemeinschaft verbessern könnte.

Haben Sie Tipps für Wissenschaftler:innen, die noch keine Erfahrung mit Open Science haben und auf die sie beim Einstieg besonders achten sollten?

DE: Ich habe bereits auf die erheblichen Zeitkosten hingewiesen, die bestimmte Open-Science-Verfahren mit sich bringen können. Im Allgemeinen wird es Ihnen das Leben wahrscheinlich viel leichter machen, wenn Sie Ihren Code und Ihre Analysen von Anfang an so strukturieren, dass sie reproduzierbar sind, als wenn Sie Ihren Code nachträglich ändern, um die Anforderungen zu erfüllen, sobald Sie das Stadium der Veröffentlichung erreicht haben. Die Einrichtung eines guten Arbeitsablaufs, der von einem Projekt zum anderen übertragbar ist, erfordert einige Vorabinvestitionen, die sich aber auf lange Sicht wahrscheinlich lohnen.

Herzlichen Dank!

Über Daniel Evans:

Der Ökonom Daniel Evans, seit Oktober 2021 Mitglied der BGSE (Bonn Graduate School of Economics), forscht im Bereich der angewandten Mikroökonomie und der Verhaltensökonomik. Unter der Leitung von Thomas Dohmen und Florian Zimmermann arbeitet er an Projekten, die darauf abzielen, die verhaltensökonomischen Aspekte wirtschaftlicher Entscheidungsprozesse zu verstehen und zu analysieren. Sein wissenschaftlicher Ansatz und seine Forschung tragen dazu bei, ökonomische Modelle mit dem realen menschlichen Verhalten in Einklang zu bringen und die Mikroökonomie praktischer zu machen.

Kontakt: https://www.econ.uni-bonn.de/en/department/doctoral-students/daniel-evans

LinkedIn: https://www.linkedin.com/in/danielevanshandels