Replikationskompetenz schon während des Studiums erwerben
Interview mit Lars Vilhuber über Open Science und Reproduzierbarkeit in der Lehre
Foto: David Außerhofer
Die Integration von Open Science in die universitäre Ausbildung gewinnt in den Wirtschaftswissenschaften zunehmend an Bedeutung. Durch die Vermittlung von Open-Science-Prinzipien, -Methoden und -Werkzeugen können Lehrende ihre Studierenden besser auf die Anforderungen einer transparenten und kollaborativen Forschung vorbereiten. Doch welche Methoden funktionieren am besten? Welche Erfahrungen gibt es bereits für die Fachdisziplin? Und mit wem kann man sich am besten über didaktische Fragen austauschen?
Wir haben dazu Lars Vilhuber befragt, der seine Erfahrungen aus dem Replication Lab des Labor Dynamics Institute an der Cornell University teilt. Der Ökonom, der seit vielen Jahren in den USA arbeitet, ist Direktor des Labor Dynamics Institute an der Cornell University und Data Editor der American Economic Association.
Herr Vilhuber, Sie setzen sich seit Jahren für Reproduzierbarkeit und Open Science in den Wirtschaftswissenschaften ein. Wie sehen Sie die Rolle von Replikationskursen in der studentischen Ausbildung, speziell in den Wirtschaftswissenschaften?
LV: Replikationskurse sind in meinen Augen ein essenzielles Element der Ausbildung zukünftiger Wissenschaftler:innen und Praktiker:innen, besonders in den Wirtschaftswissenschaften. Die Vermittlung von Replikationsmethoden fördert ein tiefes Verständnis dafür, wie Forschungsergebnisse zustande kommen und wie robust sie sind. Studierende sollten bereits früh lernen, wie wichtig es ist, Forschungsergebnisse nicht nur zu akzeptieren, sondern auch kritisch zu hinterfragen und auf Verlässlichkeit zu prüfen. Reproduzierbarkeit ist eine zentrale Voraussetzung für wissenschaftliche Integrität. Wenn wir es schaffen, diese Themen fest in den Curricula zu verankern, leisten wir einen wesentlichen Beitrag zu einer transparenten, nachvollziehbaren und belastbaren Wissenschaft.
Welche Inhalte decken Sie in Ihren Replikationskursen ab, und wie helfen diese den Studierenden in ihrer Ausbildung?
LV: In meinen Kursen decken wir ein breites Spektrum an Inhalten ab, die alle entscheidend für eine fundierte Replikationskompetenz sind. Zu den grundlegenden Themen gehören zunächst die Prinzipien der Datenverwaltung und -dokumentation – also Fragen, wie Daten so gespeichert und aufbereitet werden können, dass sie für andere nachvollziehbar und nachnutzbar sind. Ein weiterer wichtiger Punkt ist die Analyse: Studierende lernen, wie sie Analyse-Skripte und statistische Methoden so strukturieren, dass Ergebnisse nicht nur einmalig erzielt, sondern jederzeit reproduziert werden können. Zusätzlich wird vermittelt, wie man Replikationsberichte schreibt, sodass andere die Arbeit vollständig nachvollziehen können. Ziel ist es, Studierende auf die typischen Anforderungen vorzubereiten, die sie sowohl in der akademischen als auch in der angewandten Forschung erwarten.
Welche methodischen Ansätze verfolgen Sie in der Lehre, um Replikation praktisch erfahrbar zu machen?
LV: Replikationsarbeit lebt von der Praxisnähe. Im Replication Lab am Labor Dynamics Institute der Cornell University arbeiten die Studierenden – zumeist Studienanfänger:innen — an echten Forschungspublikationen und versuchen, die dort veröffentlichten Ergebnisse nachzuvollziehen. Dies erfordert ein genaues Verständnis davon, wie Daten und Skripte zusammenkommen. Weil es sich im Lab um Undergraduates handelt, geht man dabei nicht in die Tiefe, was statistische Methoden angeht. Die Studierenden entwickeln dabei dennoch nicht nur technisches Know-how, sondern auch ein kritisches Auge für methodische Feinheiten und mögliche Schwächen in der Dokumentation. Durch diese praktischen Erfahrungen lernen sie, wie Replikation in der Realität funktioniert, welche Herausforderungen sie mit sich bringt und wie man diese bewältigen kann. Wenn sie dann später zu aktiven Forscher:innen werden – ob in der Akademie oder der Wirtschaft – wissen sie sehr gut, was es heißt, ihre eigene Arbeit anderen erklären zu müssen.
Was sind die größten Herausforderungen für Studierende im Umgang mit Replikationen, und wie unterstützen Sie sie dabei?
LV: Eine der größten Herausforderungen besteht darin, mit unvollständig dokumentierten oder schwer zugänglichen Daten und Methoden umzugehen. Nicht selten fehlt es an Informationen zur Datenaufbereitung oder es gibt Inkonsistenzen in den veröffentlichten Analyse-Skripten. Solche Hürden sind frustrierend, aber auch eine wertvolle Lernerfahrung. Ich unterstütze die Studierenden dabei, indem ich sie ermutige, analytisch und kreativ vorzugehen: Welche Annahmen kann man machen? Wo sind alternative Wege möglich? Zudem lernen sie, wie wichtig eine vollständige und präzise Dokumentation ist – ein Punkt, den sie später selbst in ihrer Arbeit anwenden können.
Die Replikationskrise ist in vielen wissenschaftlichen Disziplinen ein großes Thema. Wie sehen Sie die Rolle von Replikationskursen in diesem Kontext in den Wirtschaftswissenschaften?
LV: Die Replikationskrise zeigt, wie dringend Wissenschaftler:innen über fundierte Kenntnisse in Replikation verfügen müssen. Replikationskompetenz ist ein wesentlicher Future Skill, vor allem in den Wirtschaftswissenschaften. Replikationskurse leisten hier einen wichtigen Beitrag, indem sie Studierende oder Pre-Docs schon früh für die Themen Replizierbarkeit und Transparenz sensibilisieren. Wenn junge Forschende bereits zu Beginn ihrer Karriere verstehen, wie wichtig saubere und reproduzierbare Forschung ist, sind sie eher geneigt, diese Standards auch in ihrer eigenen Arbeit umzusetzen. Langfristig kann so ein Kulturwandel im Wissenschaftsbetrieb gefördert werden, der die Qualität und Glaubwürdigkeit von Forschungsergebnissen nachhaltig stärkt.
Open Science und Replikationsmethoden sind mittlerweile auch Thema auf internationalen Konferenzen. Welche Plattformen nutzen Sie, um Ihre Erfahrungen und Methoden zu teilen und sich weiterzubilden?
LV: Der Austausch mit anderen Forschenden ist für mich sehr wertvoll. Internationale Konferenzen wie die der American Economic Association (AEA), der European Economic Association (EEA), und viele regionale und thematisch gebundene Konferenzen wie in Labor oder Makro bieten exzellente Möglichkeiten, um mit Forscher:innen über die neuesten Ansätze zu diskutieren. Meine Data-Editor-Kolleg:innen und ich haben in den letzten Jahren auf vielen solcher Konferenzen Vorträge und Workshops gehalten, und machen das auch weiter so. Zudem nutzen wir Plattformen wie Github, um „best practices“ zusammen mit Lehrmaterialien zu veröffentlichen, beispielsweise bei https://social-science-data-editors.github.io/.
Vielen Dank!
Das Interview wurde geführt von Dr. Doreen Siegfried am 30.10. 2024.
Über Lars Vilhuber:
Lars Vilhuber, PhD, ist geschäftsführender Direktor des Labor Dynamics Institute an der Cornell University und Senior Research Associate im Fachbereich Wirtschaft der Cornell University. Er arbeitet mit dem Research and Methodology Directorate des U.S. Census Bureau an einer Vielzahl von Projekten. Zudem wirkt er mit in mehreren Data Access Center Committees (CRDCN, CASD). Seit 2018 ist er Data Editor der American Economic Association. Beim Journal of Privacy and Confidentiality ist er Executive Editor. Von 2026 bis 2021 war er Vorsitzender des Ausschusses für Datenschutz und Vertraulichkeit der American Statistical Association.
Kontakt: https://www.vilhuber.com/lars/
GitHub: https://github.com/larsvilhuber
Zum Replication Lab: https://www.ilr.cornell.edu/labor-dynamics-institute
Podcastfolge mit Lars Vilhuber vom August 2022: https://podcast.zbw.eu/fos/2022/08/18/fos-21-replikation-und-transparenz/
Zu seinem Talk bei der Open Science Education Coffee Lecture: https://www.youtube.com/watch?v=9pmyJ7Q32e4