Mehr als nur kopieren
Wie Replication Games Forschung und Lehre revolutionieren
Interview mit Abel Brodeur
Wie ist die Idee für die Replication Games entstanden? Was hat Sie dazu inspiriert, diese Veranstaltungen zu initiieren?
AB: Ich erinnere mich an ein Gespräch mit einem Mitarbeiter, der sagte: „Wissen Sie, ich möchte keine Replikation machen, weil ich nicht die Zeit dazu habe. Aber wenn Sie vor einer Konferenz einen kleinen Workshop veranstalten könnten, bei dem wir nur an den Codes von jemand anderem arbeiten, dann wäre ich interessiert.“ Und ein paar Jahre später dachte ich über dieses Gespräch nach, als ich in Oslo zu zwei Seminaren eingeladen war, eines am Mittwoch und das andere am Freitag. Und ich fragte die Person, die mich eingeladen hatte: „Was mache ich am Donnerstag?“ Und dann schlug ich vor, dass wir einen kleinen Workshop zur Reproduzierbarkeit machen könnten. Klein im Sinne von: Wir arbeiten an ein oder zwei Papieren, es werden fünf oder sechs Leute sein, und das war’s dann auch schon. Wir veröffentlichten einen Tweet und hatten zu diesem Zeitpunkt fast keine Follower. Erstaunlicherweise haben sich innerhalb von etwa 72 Stunden 60 oder 70 Personen für die Veranstaltung angemeldet. Damit hatten wir wirklich nicht gerechnet, wir hatten keine Räume, kein Essen. Also schloss ich die Anmeldung so schnell wie möglich und improvisierte einfach. Und ich dachte, ich muss Teams bilden, Teams, die auf Forschungsinteressen basieren, und ich muss den Teams Anweisungen geben.
Spielen die Teams gegeneinander? Gibt es eine Art Wettbewerb?
AB: Nein, absolut nicht. Es gibt nur Zusammenarbeit. Und meistens wird nicht wirklich repliziert, sondern eher robust reproduziert, aber irgendwie klangen Replication Games besser.
Aber es funktioniert.
AB: Ich denke schon. Bei allem, was ich am Institute for Replication versucht habe, habe ich versucht, es so zu machen, dass es sich nach Spaß anhört und Spaß macht. Ich dachte, Spiele wären interessant. Mir wurde auch schnell klar, dass wir das auch anderswo machen könnten. Es ist wie bei den Olympischen Spielen. Wir gehen alle irgendwohin, wir machen alle unser Ding, und dann gehen wir in eine andere Stadt, in einem anderen Monat und so weiter.
In den Spielen konzentrieren Sie sich auf Robustheit und Recoding. Können Sie die Bedeutung dieser primären Ansätze erklären?
AB: Wenn man über Replikationen nachdenkt, würden die meisten der Definition zustimmen, dass sie mit neuen Daten durchgeführt werden müssen. Ich denke, das liegt daran, dass die Leute, die diese Definitionen aufgestellt haben, Experimente durchführen. Als Wirtschaftswissenschaftler, der nicht experimentell arbeitet, bin ich auch an der Reproduktion und Replikation von Beobachtungsstudien interessiert. Die überwiegende Mehrheit der Arbeiten in den Wirtschaftswissenschaften ist nicht experimentell. Auch die Politikwissenschaft, die Soziologie und viele andere Disziplinen verwenden nicht-experimentelle Methoden. Auch im Bereich der öffentlichen Gesundheit, weil man die meisten Dinge einfach nicht randomisieren kann. Wie geht man also vor, wenn man Studien wiederholen will, die nicht experimentell sind? Das ist nicht einfach, und manchmal ist es sogar unmöglich. Wenn man sich zum Beispiel eine in Deutschland umgesetzte Politik ansieht, z. B. Kinderbetreuungsbeihilfen. Würden Sie dies mit Daten aus Norwegen wiederholen wollen? Die Subventionen für die Kinderbetreuung können unterschiedlich sein, die Politik kann unterschiedlich sein. Sie haben es mit etwas zu tun, das aus konzeptioneller Sicht ganz anders ist.
Aber ich glaube nicht, dass das in ein paar Tagen Arbeit machbar ist. Wenn man das Replikationspaket einer bestehenden Studie nimmt, kann man eine Menge tun, man kann neu kodieren, man kann Robustheitsprüfungen durchführen. Einige Teams verwenden neue Daten, aber der Schwerpunkt liegt in den meisten Fällen auf Neukodierung und Robustheit, einfach aus Zeitgründen und aufgrund der Tatsache, dass wir uns auf öffentlich verfügbare Daten konzentrieren. Die kurze Antwort wäre also, weil die meisten Teams das schaffen. Auch wenn wir den Teams erlauben, neue Daten zu verwenden, ist es in der Realität so, dass man während einer Veranstaltung und in den darauf folgenden Tagen oder Wochen meist nur das Replikationspaket verwenden und eine Neukodierung und Robustheitsprüfung durchführen kann.
Wie gehen Sie vor, um die Teilnehmer:innen und ihre Forschungsinteressen miteinander abzustimmen? Sie sagen, dass es so viele Teilnehmer:innen gibt, sie müssen also aus verschiedenen Bereichen der Wirtschaftswissenschaften kommen.
AB: Sie kommen auch aus anderen Disziplinen. Der Grund, warum ich möchte, dass die Leute mit anderen aus ihrem eigenen Teilgebiet zusammenarbeiten, ist, dass sie wissen, was eine sinnvolle Robustheitsprüfung oder ein sinnvolles Recoding ist. Was im Finanzwesen und in der Makroökonomie gemacht wird, ist für einen angewandten Mikroökonomen nicht unbedingt sinnvoll. Die Art der Robustheitsprüfung oder Recoding, die jemand in einem bestimmten Teilbereich durchführen würde, ist ganz anders. Auch die Methodik ist eine andere. Wir haben darüber nachgedacht, den Leuten eine Studie nach dem Zufallsprinzip zuzuweisen, aber das machte wenig Sinn. Wenn Sie mir zum Beispiel eine Arbeit über Zeitreihen schicken, verstehe ich nicht einmal, was da gemacht wird. Jemand, der sich mit Zeitreihen befasst, könnte sich unwohl dabei fühlen, eine Studie mit einem Regressions-Diskontinuitäts-Design zu reproduzieren oder zu replizieren.
Das ist der Hauptgrund, warum ich mich entschlossen habe, 50 oder 70 Personen in Teams von 3 bis 5 Personen einzuteilen, in denen sie mit Leuten arbeiten können, die ähnliche Forschungsarbeiten durchführen. Und dann habe ich eine Liste von Studien mit öffentlich zugänglichen Daten. Wenn sie sich mit Gesundheitsökonomie beschäftigen, würde ich sagen: Hier sind fünf gesundheitsökonomische Studien, wählen Sie eine aus. Und in ein paar Wochen werden Sie während der Spiele die Reproduktion und/oder Replikation dieser Studie durchführen.
Warum ist das für den Erfolg des Spiels wichtig? Da nenne ich zwei. Das erste ist, dass es einfach viel mehr Spaß macht, an einer Studie zu arbeiten, die man tatsächlich versteht. Das zweite ist, dass man Kontakte knüpft und den Tag mit Leuten aus seinem Fachgebiet verbringt, mit denen man in Zukunft zusammenarbeiten kann.
Würden Sie sagen, dass der soziale Aspekt der Hauptgrund für den Erfolg der Replication Games ist?
AB: Ich würde nicht sagen, dass es der Hauptgrund für den Erfolg ist, aber ich würde sagen, dass es dadurch viel schöner ist. Es macht Spaß. Man kann sich mit anderen Leuten austauschen und verbringt den Tag hauptsächlich damit, über die Forschung der anderen zu sprechen, anstatt über seine eigene nachzudenken und sich darüber zu ärgern. Es ist eigentlich ganz nett, sich den Code von jemand anderem anzusehen und über das Design und die Studie von jemand anderem nachzudenken. Jedes Mal, wenn wir eine Veranstaltung durchführen, versuche ich, sie so zu gestalten, dass sie mehr Spaß macht oder den Leuten mehr Möglichkeiten zur Vernetzung bietet.
Was tun Sie also, um die Teilnehmer:innen den ganzen Tag über zu motivieren?
AB: Wir müssen gar nichts tun. Manche Teams hören nicht auf, wenn wir um 16.30 Uhr fertig sind, ich muss ihnen den Computer ausschalten. Die Leute sind sehr engagiert, weil sie im Team arbeiten. Ich denke, besonders nach den einsamen Tagen von Covid ist es einfach toll, mit anderen Leuten in einem Raum zu sein, stundenlang zusammen zu arbeiten und zu programmieren und darüber nachzudenken, was man tun könnte. Das ist etwas, das die meisten Leute nie tun würden. Normalerweise arbeitet man selbst vor sich hin, und ab und zu spricht man über Zoom, aber man sitzt nie einen ganzen Tag lang mit seinen Co-Autoren zusammen und arbeitet tatsächlich an etwas. Forschung ist ziemlich einsam, man arbeitet nur für sich selbst. Aber während der Spiele ist man eigentlich ein Team.
Man entwickelt eine Verbindung zu den anderen?
AB: Alle anderen Teams arbeiten eifrig. Niemand schaut auf seine E-Mails. Niemand ist in den sozialen Medien unterwegs. Alle sind konzentriert. Man hat seine Teamkolleg:innen vor sich und muss alles tun, was man an diesem Tag tun kann. Man hat das Gefühl, dass alle anderen auch arbeiten, alle sind im selben Raum, und man hat das Gefühl, dass man tatsächlich etwas abliefern muss. So ist es wirklich einfach, die Leute zu engagieren. Am Ende der Veranstaltung hat jedes Team ein paar Minuten Zeit, um zu erklären, was es im Laufe des Tages getan hat, und es ist sehr schön zu hören, was die anderen getan haben. Es gibt also einige Aspekte, die ich im Laufe der Zeit hinzugefügt habe, um die Veranstaltung interessanter zu gestalten. Aber das ist wirklich nicht nötig, um ehrlich zu sein.
Gibt es ein didaktisches Design für die Replication Games? Gibt es eine Struktur, die sowohl die wissenschaftliche Integrität als auch das Lernen der Teilnehmer:innen gewährleistet?
AB: Wir haben Leitlinien, und wir arbeiten daran, sie zu veröffentlichen. In einigen anderen Disziplinen wäre es nicht möglich, eine randomisierte Kontrollstudie an einem Tag in einem anderen Labor zu reproduzieren oder zu replizieren. Aber in vielen Disziplinen ist es möglich, und es wäre einfach, unsere Arbeit zu imitierten. Wir versuchen also, eine klare Dokumentation und Leitlinien zusammenzustellen, um zu zeigen, wie man es machen kann.
Der zweite Teil der Frage über das Lernen der Student:innen und was die Leute davon haben? Ich würde sagen, dass das Lernen ein wenig indirekt ist. Man sieht sich ein Replikationspaket an, damit man eine Vorstellung davon bekommt, wie man es tun oder lassen sollte. Und man denkt, wenn ich das nächste Mal ein Replikationspaket schreibe, dann sind das die Dinge, die mir nicht gefallen haben. Man ist nicht der Autor oder die Autorin, und sieht sich anderer Leute Forschung an. Daher würde ich sagen, dass der größte Teil des Lernens darin besteht, mit anderen Leuten zu kodieren, zu sehen, wie sie kodieren, zu sehen, wie sie über Robustheitsprüfungen und Recoding denken. Aber es ist keine direkte Ausbildung in dem Sinne, dass Sie auf einen Bildschirm schauen und ich Ihnen etwas beibringen werde.
Wir sind jedoch dabei, möglicherweise einen Tag vor der Veranstaltung eine Schulung für interessierte Teilnehmer:innen anzubieten. Wir würden Lehrmaterial zusammenstellen, das öffentlich zugänglich wäre. Aber so weit sind wir noch nicht. Ich glaube, dass viele Leute an der Durchführung von Replikationsspielen interessiert sind, weil es meist nur um einen Tag geht. Wenn man ihnen also sagt, dass sie eine ganze Woche lang dabei sein müssen, wird niemand auftauchen. Aber wenn man ihnen sagt, dass sie vorher und nachher arbeiten müssen, aber das meiste an diesem Tag passiert, dann sind die Leute bereit zu kommen. Wenn wir zwei, drei oder vier Schulungstage daraus machen, kommen sie nicht. Aber ich denke, dass eine optionale Schulung am Vortag oder sogar etwas, das aufgezeichnet und den Teilnehmerinnen Wochen im Voraus mitgeteilt wird, für einige Leute interessant sein könnte.
Wie gehen Sie mit den unterschiedlichen Erfahrungsniveaus der Teilnehmer:innen beim Kodieren oder Forschen um? Gibt es spezifische didaktische Ansätze, um sowohl unerfahrene als auch erfahrene Forscher:innen zu unterstützen?
AB: : Normalerweise muss man Doktorand:in, Dozent:in oder Forscher:in in einer Institution wie der Weltbank, dem IWF, den Vereinten Nationen oder ähnlichem sein. Das ist also das Niveau, das wir erwarten. Wir stellen eigentlich keine Fragen zu ihren Kenntnissen im Bereich der Programmierung. Wir fragen aber, welche Statistiksoftware sie am liebsten benutzen. Das ist wirklich wichtig. Ich versuche, die Leute aufeinander abzustimmen und darauf zu achten, dass die von ihnen gewählte Arbeit in einer Sprache verfasst wird, mit der sie vertraut sind. Wir ermutigen auch Leute, die nicht so gut programmieren können, zu kommen und sich zu beteiligen. Das Problem ist, dass sie es nicht wollen. Vor allem ältere Leute. Ich spreche von ordentlichen Professoren, die manchmal eingeschüchtert sind und nicht an den Spielen teilnehmen wollen, weil sie seit Jahren oder Jahrzehnten nicht mehr programmiert haben. Sie haben Student:innen oder wissenschaftliche Assistent:innen, die das ganze Programmieren für sie übernehmen. Und ich sage ihnen: Nein, ihr solltet mitmachen, und es wäre sehr interessant für Doktorand:innen, in eurem Team mitzumachen. Sie können nämlich über mögliche Robustheitsprüfungen nachdenken, sie können über spezifische Umkodierungsübungen nachdenken und sie können am Ende beim Schreiben des Berichts helfen, während die Jüngeren die Kodierung übernehmen.
Gibt es bei diesen Spielen ein breites Altersspektrum oder sind es hauptsächlich jüngere Forscher:innen?
AB: Es sind hauptsächlich Student:innen, Postdocs und Assistenzprofessor:innen. Ich würde sagen, im Moment sind 50 % Doktorand:innen. Ab und zu kommt ein:e erfahrener Forscher:in zu uns. Es reicht meist nicht, dass für jedes Team eine:r dabei ist, aber es wäre ideal, jemanden zu haben, der eigentlich nicht programmiert. Wir haben also ein breites Spektrum an Altersgruppen, und es hat auch schon jemand teilgenommen, der im Ruhestand war. Aber ich würde sagen, dass die meisten Teilnehmer:innen junge Leute sind, die sich für die Programmierung interessieren.
Planen Sie eine Ausweitung des Programms, indem Sie die Anzahl der Spiele oder der Teilnehmer:innen erhöhen oder weitere Disziplinen einbeziehen?
AB: Ja, ja und ja. Mehr Disziplinen? Auf jeden Fall, hundertprozentig. Ich kann es jetzt noch nicht sagen, aber es sollte sehr bald eine Ankündigung geben, dass wir weitere Disziplinen hinzufügen werden. Was die Zahl der Teilnehmer:innen angeht – ja, dieses Jahr rechnen wir mit 700 bis 750 Teilnehmern. Ich schätze, dass es nächstes Jahr über 1.000 sein werden. Was die Austragungsorte anbelangt, so haben wir bereits 15 Spiele für 2024 bestätigt.
Ja, ich habe es auf Ihrer Website gesehen.
AB: Ich schätze, dass wir in der nächsten Saison mindestens 20 haben werden. Das passiert nur, weil ich fast jede Woche E-Mails von jemandem erhalte, der fragt: „Hey, könnten wir Spiele in meiner Einrichtung machen?“ Es gibt also mehr Ablehnungen als Zusagen.
Letzte Frage. Welchen Rat haben Sie für junge Forscher:innen oder vielleicht auch Student:innen, die eine Teilnahme an zukünftigen Replication Games in Betracht ziehen?
AB: Ich würde sagen, das Wichtigste ist, dass es Spaß macht und man die Co-Autorenschaft für ein Meta-Paper erhält. Die Anreize sind: man knüpft Netzwerke, man sieht andere Leute beim Programmieren. Und die Kosten sind recht gering. Man muss nicht sechs oder auch nur drei Monate daran arbeiten. Man muss die Studie vorher lesen, das Replikationspaket im Voraus prüfen und sich mit den Teamkolleg:innen besprechen oder mailen, was am Tag der Spiele zu tun ist. In den Tagen, Wochen oder Monaten danach muss man einen Bericht schreiben. Das ist nicht viel Arbeit. Wir stellen eine Vorlage zur Verfügung, die man verwenden kann, um es so einfach wie möglich zu machen. Ich denke, das ist der Hauptgrund, warum man es tun sollte: Man kann sich in die Lage einer anderen Person versetzen. Normalerweise ist man Autor:in, Forscher:in, aber jetzt ist man Replikator:in. Man hat die Daten und die Codes und kann damit spielen.
Ich glaube nicht, dass es derzeit eine Struktur oder Anreize für das Schreiben von Replikationen gibt. Die Leute machen das manchmal als Hausarbeit oder um einen Blick auf den Code von jemand anderem zu werfen. Aber hier, bei den Spielen, gibt es tatsächlich einige Anreize. Es gibt eine Struktur, um es zu tun. Es kann Spaß machen.
Ich danke Ihnen!
Das Interview wurde geführt von Dr. Doreen Siegfried.
Über Abel Brodeur:
Abel Brodeur ist außerordentlicher Professor an der Fakultät für Wirtschaftswissenschaften der Universität Ottawa. Er promovierte von 2011 bis 2015 an der Paris School of Economics und nahm von 2012 bis 2015 am European Doctoral Programme an der London School of Economics teil.
Im redaktionellen Bereich war Brodeur als Gastredakteur für Sonderausgaben zu Reproduktionen und Replikationen in den Zeitschriften Economic Inquiry und Research & Politics tätig. Die Ausgaben betrafen die Studienjahre 2023-2024 bzw. 2022-2023.
Neben seiner Tätigkeit als Dozent und Herausgeber ist Brodeur Gründer und Vorsitzender des Institute for Replication (I4R). Diese Organisation widmet sich der Förderung der Replikation akademischer Forschung als Praxis, um die Zuverlässigkeit und Gültigkeit wissenschaftlicher Ergebnisse zu gewährleisten. Er ist außerdem Co-Direktor des Ottawa Applied Microeconomics Lab, einer weiteren Einrichtung, die mit seinen Forschungsinteressen übereinstimmt.
In seiner akademischen und beruflichen Tätigkeit konzentriert er sich auf die Themen Replikation und Forschungsintegrität, insbesondere im Bereich der Wirtschaftswissenschaften.