Kritisches Hinterfragen zahlt sich am Ende für die Karriere aus

Dr. Maren Duvendack über ihre Open-Science-Erfahrungen

Sie sind sehr engagiert im Editorial Board von IREE – der Replikations-Zeitschrift für die Wirtschaftsforschung. Daher weiß ich, dass Ihr Herz für Replikationen schlägt. Direkt zum Einstieg: Wie ist die Resonanz aus Ihrer Peer Group auf Ihre Arbeit?

MD: Mein Herz schlägt für Replikationsstudien und ich mache das auch schon seit mehr als zehn Jahren. Für meine Promotion hatte ich mir die Studie über Micro-Finance in Bangladesh von Pitt und Khandker angeschaut und habe festgestellt, dass ich bei der Reproduktion auf andere Ergebnisse komme. Und damit begann das Drama. Die Daten der Studie konnte man bei der Welt-Bank runterladen, aber die Datensätze waren nicht komplett und der Code, um die Analyse nachzuvollziehen, stand auch nicht zur Verfügung. Ich habe dann Kontakt zu Pitt und Khandker aufgenommen, aber die zeigten sich zunächst nicht kooperativ. Nach geraumer Zeit und nur mit Hilfe von David Roodman vom Center for Global Development, der zur gleichen Zeit mit den Daten gearbeitet hat, konnte ich die fehlenden Informationen erhalten. Als es dann dazu kam, die Studie zu publizieren, war das auch erstmal nicht so einfach, die Editoren fanden eine Replikation an sich nicht innovativ genug. Letztendlich wurde die Studie dann schließlich doch veröffentlicht, aber nur wegen einer Erweiterung. Wir haben eine andere ökonometrische Methode auf den Datensatz angewandt, quasi also einen Robustheitscheck durchgeführt. Es kam nach der Veröffentlichung Unmut auf bei den beiden Originalautoren als auch bei der Mikrofinanzlobby. Sehr unangenehm, besonders wenn man am Anfang seiner akademischen Karriere steht. In Gesprächen mit meinen Peers habe ich dann aber schnell gemerkt, dass dieses Erleben nicht überraschend und auch nicht selten ist. Aber zum Glück hat sich seit meiner ersten Erfahrung mit Replikationen doch in den letzten Jahren einiges geändert, vorrangig in der Psychologie und auch in den Politikwissenschaften. Die Ökonom:innen hängen da noch etwas hinterher, aber es wird besser. Die American Economic Review und andere Top Economic Journals haben nun Datenverfügbarkeits- und Replikationsrichtlinien, die Autor:innen einhalten müssen, wenn sie in diesen Journals publizieren möchten. Die Veränderung kommt durch die Hintertür und wird von den Journals vorangetrieben und auch anderen Initiativen, wie dem Replication Network und der Gründung von IREE.

Welche Vorteile von Open Science haben Sie konkret erlebt? Welche Tipps haben Sie für andere Ökonom:innen?

MD: Infolge meiner Promotionsstudie bekam ich Gelder der britischen Regierung für eine systematische Literaturrecherche zum Thema Mikrofinanzierung und Effektivität in Dritte-Welt-Ländern. Replikationen waren hier ein wichtiges Element. Und basierend auf dieser Folgearbeit habe ich dann eine Impact Case Study geschrieben. Das gehört hier in Großbritannien zum akademischen Betrieb dazu, dass man aufschreibt, welchen Effekt die eigene Forschung auf die Politik und die Gesellschaft hat. Durch meine Replikation gefolgt von der systematischen Literaturrecherche hat sich die Ansicht bezüglich Mikrofinanzen in der Politik und der Mikrofinanzcommunity verändert. Es wurde klar, dass Mikrokredite nicht mehr der heilige Gral sind, um Armut zu reduzieren oder Frauen zu empowern. Nein, es ist differenzierter. Ich hatte also indirekt Einfluss auf die britische Regierung, was Mikrofinanzinvestitionen in Dritte-Welt-Ländern angeht. Meine Studien haben also eine Rolle bei der Entscheidungsfindung in der Politik gespielt.

Meine kritische Herangehensweise war auf jeden Fall super vorteilhaft für meine Karriere, für mein Netzwerk und für meinen Real World Impact. Ich habe dazu beigetragen, dass bessere Mikrokreditprogramme etabliert wurden und nun auch vermehrt verschiedene Programme miteinander kombiniert werden. Replikation und Evaluierung muss nicht immer negativ sein, auch wenn es zu Beginn sehr holprig sein kann. Man muss mutig sein und auch zu seiner kritischen Haltung und seinen Prinzipien stehen. Das wird sich dann irgendwann auszahlen. Und jetzt kann man sagen: Die Duvendack hat damit angefangen, Mikrofinanzen kritisch zu hinterfragen. Jetzt ist es Mainstream.

Welche Rolle spielen Replikationen für die Politikberatung?

MD: Für die Politikberatung ist es halt auch immer schwierig, wenn man sich nur auf eine Studie fokussiert. Eine einzelne Studie hat immer Limitationen, besonders im Hinblick auf externe Validität, d.h. inwiefern kann die Studie auf andere Situationen, Menschen und geografischen Kontext angewandt werden. Optimal ist immer eine systematische Literaturrecherche, wo man die Beweislage zu diesem Thema zusammenführt und häufig tausende von Studien begutachtet. Diese systematische Literaturrecherche wird gerade in Großbritannien, aber auch vermehrt in anderen Ländern, von Politiker:innen viel genutzt, um Entscheidungen zu treffen. Weil dort eben tausende von relevanten Studien zu einem Themenbereich zusammengefasst werden und auch einer Qualitätsprüfung unterzogen werden.

Hat sich der Umgang mit Replikationen in den Wirtschaftswissenschaften seit Ihrer Promotion verändert?

MD: Es ist auf jeden Fall ein Fortschritt zu sehen. Ich habe vor fünf Jahren zusammen mit Robert Reed das „Replication Network“ gegründet. Es sind viele Ökonom:innen dabei, die replizieren wollen, und auch die Liste von Replikationsstudien auf unserer Website wird immer länger. Viele Economic Journals stellen inzwischen Bedingungen auf, dass Studien replizierbar sind bevor sie veröffentlicht werden können, d.h. Daten und Code müssen dem Journal zur Verfügung gestellt werden. Es ist natürlich mehr Arbeit, die Daten und Codes so vorzubereiten, dass man sie teilen kann, aber für mich gehört das zu guter wissenschaftlicher Arbeit dazu. Und ich kann als Forscher:in selbst, auch in fünf oder zehn Jahren noch nachvollziehen, was ich da überhaupt gemacht habe. Es ist also auch für einen selbst sehr hilfreich.

Können Sie ein bisschen zum „Replication Network“ erzählen, dass Sie gegründet haben? Wer macht mit, was machen Sie da?

MD: Es ist ein internationales Netzwerk, und wir wollen darauf aufmerksam machen, dass Replikationen wichtig sind. Fokus sind die Wirtschaftswissenschaften, weil es noch kein Netzwerk dafür gab. Zusammen mit Robert Reed von der Universität Canterbury (Christchurch, Neuseeland), haben wir ein Paper verfasst und darauf das „Replication Network“ aufgebaut. Es ist ein informelles Netzwerk für Ökonom:innen weltweit, wir haben einen Pool mit Replikationsstudien und Blogs. Ziel es ist, mehr Leute zu sensibilisieren, entweder selbst zu replizieren oder Student:innen an das Thema heranzuführen.

Wo kommen Ihre Mitglieder hauptsächlich her?

MD: Die meisten sind aus dem Global North, oft aus dem englischsprachigen Raum, aber tatsächlich viel US, UK, Europa, Australien. Wir haben auch vermehrt Mitglieder aus dem asiatischen Raum, Indien, Malaysia, Taiwan, aber die Industrienationen dominieren schon. Es ist noch ein bisschen Arbeit, dass wir auch Ökonom:innen besonders aus dem afrikanischen Raum integrieren.

Haben Sie auch Mitglieder aus Deutschland, Österreich oder der Schweiz?

MD: Ja, wir haben auch Mitglieder aus den deutschsprachigen Ländern, besonders aus Deutschland gab es in den letzten Jahren deutlich mehr Interesse. Es ist schön, zu sehen, dass sich die Gruppe, die sich für Replikationsstudien interessiert, langsam vergrößert.

Welches sind die Beweggründe von Ökonom:innen, Replikationsstudien durchzuführen?

MD: Die Motivation ist die Überzeugung, dass Replikationen ein Teil guter wissenschaftlicher Praxis sind und sie der Forschungscommunitiy dienlich sind. Besonders für junge Akademiker:innen sind Replikationen eine wunderbare Art und Weise zu verstehen, wie Datenmanagement und Analyse ablaufen.

Was sind die Vorteile Ihres Replication Networks?

MD: Wissenschaftliches Arbeiten geht nicht ohne Transparenz. Und Replikationen haben unmittelbar mit Transparenz zu tun. Ich kann mit Replikationspaketen meine Glaubwürdigkeit erhöhen. Ich zeige, dass ich korrekt und wissenschaftlich präzise arbeite. Replikationen selber zu praktizieren, erlaubt es mir auch, anderen das Thema so näher zu bringen. Und so kann ich gute wissenschaftliche Praxis verbreiten. Bei unserem Replication Network bekommt man die aktuellsten Nachrichten, die aktuellsten Entwicklungen im Kontext von Replikationen, einen Überblick über die verschiedenen Replikationsstudien und wo man seine Replikationen veröffentlichen kann, usw. Wir haben einen Blogbereich, in dem man auf seine Studien hinweisen kann und man kann bei uns sein Netzwerk erweitern, um sich mit Gleichgesinnten austauschen zu können, was zu weiteren Kooperationen führen kann.

Welche Vorteile erleben Sie als Gründerin des Replication Networks?

MD: Ich bekomme auf jeden Fall Konferenzeinladungen, um über das Thema zu sprechen – sei es als Keynote Speaker oder Panel-Teilnehmerin. Und das Netzwerk wird so auch in andere akademische Bereiche erweitert, mit denen man sonst vielleicht eher nicht so viel zu tun hat. Zum Beispiel wurde ich von einem Netzwerk von Agrarökonom:innen eingeladen, die sehr viele Experimente machen. Alle Fachdisziplinen haben dieselben Probleme, jeder lebt aber in seinem akademischen Silo und es gibt oft leider wenig Austausch untereinander. Und über unser Replication Network kommt es auch zum Austausch zwischen verschiedenen akademischen Disziplinen. Insbesondere mit den Psycholog:innen ist der Austausch sehr interessant, weil die in dem Bereich schon viel weiter sind als die Wirtschaftsforscher:innen.

Sie haben schon erwähnt, dass Journals oftmals Replication Packages einfordern. Wie ist da Ihre Beobachtung: ist das mehr geworden in den letzten zehn Jahren?

MD: Die Kurve ist steil angestiegen, würde ich sagen. Erst einmal ist die Anzahl der Replikationsstudien gestiegen, aber auch die Datenverfügbarkeitsrichtlinien haben zugenommen – gerade bei den Top Economic Journals. Das ist auf jeden Fall ein positiver Trend. Es ist aber zu unterscheiden zwischen den Policies und der tatsächlichen Durchführung: Man wird bei den Journals auch oft gefragt, ob man denn sein Replikationspaket zur Verfügung stellen würde, aber es wird dann nicht immer angefordert, weil es eben auch sehr zeitintensiv ist, dass alles zu prüfen. Die American Economic Review macht das und setzt hier Standards. Die AER hat beispielsweise Data Editors und Doktorand:innen, die die Replikationspakete prüfen. Hier müssen wir am Ende alle hin. Doch in der Realität ist die Wissenschaft hier noch nicht angekommen. Auf der einen Seite möchte man, dass die Pakete mitgeliefert werden und auf der anderen Seite ist das aber sehr ressourcenintensiv. Journals müssten eigentlich extra Datenredakteur:innen einspannen, die sich auch mit der unterschiedlichen Software (STATA, R, SIS) auskennen, um eben alles prüfen zu können. Das kostet natürlich. Hinzu kommt, dass durch die Pandemie die Anzahl der Einreichungen unglaublich gestiegen ist, so dass die Prüfung der Replikationspakete nochmal zusätzlichen Aufwand bedeutet.

Nutzen Sie Plattformen zur kollaborativen Zusammenarbeit?

MD: Ich habe ein Projekt, das ich vor ein paar Monaten angefangen habe, direkt im Open Science Framework angelegt. Ich habe viele systematische Literaturrecherchen gemacht, wo man im Prinzip auch eine Präregistrierung dazu macht. Also erst Thema, dann eine Präregistrierungsstudie in der Form von einem Protokoll und darauf basierend erfolgt die eigentliche Full Systematic Review. Das System aus Präregistrierungen und Pre-Analysis-Plans usw. nimmt in den Sozialwissenschaften jetzt zu, auch in den Wirtschaftswissenschaften. Für systematische Literaturrecherchen gibt es dieses System aber schon lange. Und da ich seit zehn Jahren auch systematische Literaturrecherchen mache, ist mir das sehr vertraut. In meiner Evaluierungsforschung ist dieses Prinzip jedoch noch relativ neu. Aber es kommt. Das merke ich.

Wenn Leute replizieren und dann das originale Ergebnis nicht falsifizieren, hält das viele ja eher von einer Veröffentlichung ab. Was denken Sie dazu?

MD: Das ist ein echtes Problem. Viele haben Sorge, wenn das Ergebnis nicht so ist wie gedacht oder auch die Originalautor:innen darüber nicht glücklich sind, zensieren sich die Leute dadurch eher selber. Ich habe dafür leider keine Lösung, außer Bewusstsein dafür zu schaffen und darüber zu reden. Generell lässt sich festhalten, dass viele Top Economics Journals jetzt immer häufiger eigene Replication Sections etablieren oder Special Issues zu Replikationen haben, so dass die Autor:innen damit dann mit ihrer Replikationsstudie auch eine Veröffentlichung in einem hochrangigen Journal haben.

Sie sind ja auch in der Lehre tätig, welche Rolle spielen hier Open Science und das Lernen von Skeptizismus?

MD: Ich halte es für sehr wichtig, den kritischen Diskurs mit der Thematik zu suchen. Ich versuche schon, meine Student:innen anzuregen, Dinge auch kritisch zu hinterfragen und nicht nur so hinzunehmen. Wir haben ja hier Studierende aus aller Welt, die aus ganz vielen unterschiedlichen Schulsystemen kommen. Ganz oft muss ich zuerst einmal erklären, was kritisches Denken ist und wie man etwas hinterfragt. Teilweise finde ich das schockierend, wie unkritisch Studierende sind. Bei Diplomarbeiten bestehe ich auch darauf, dass die Student:innen transparent arbeiten und auch Codes und Datensätze zur Verfügung stellen. Wenn die jetzige Generation heranwachsender Forscher:innen nicht Open Science praktiziert, haben wir etwas Wichtiges versäumt als Lehrende. Dann wird es immer schwieriger, Offenheit zu etablieren als gute wissenschaftliche Praxis. Was ich noch beobachte, ist: Studierende hier bei uns arbeiten viel mit sauber und gut organisierten Sekundär-Datenpaketen, sie wissen aber nicht, wie man rohe Daten eigentlich managt und säubert. Das wird hier in UK im ökonomischen Umfeld nicht genug vermittelt. Hier muss noch etwas passieren. Ich selbst habe es erst in meiner Promotion so richtig gelernt. Und weil ich es außerordentlich wichtig finde, haben wir es jetzt in unsere Kurse integriert. Wenn ich nicht meine Daten managen kann, wie soll ich dann ein Replication Package für jemand anderen erstellen?

Inwieweit ist das Replizieren inzwischen in Curricula verankert?

MD: Ich sehe bei meinen Masterstudierenden und besonders bei meinen Doktorand:innen, dass sie schon replizieren. Aber sie haben wahnsinnige Sorgen, ihrer Karriere durch Replikationen zu schaden. Es gibt große Scheu vor potenziellen Konflikten. Sie lernen zwar im Studium, wie es funktioniert. Im Forscherleben tun sie es dann aber nicht mehr, weil sie nicht unbequem auffallen wollen. Für mich sind Replikationen ein wichtiger Schritt im wissenschaftlichen Arbeiten. Man sollte offen und transparent arbeiten, deswegen kann ich diesen Widerstand Replikationen gegenüber auch nicht nachvollziehen. Was in den Naturwissenschaften ganz normal ist, muss in den Sozialwissenschaften erst noch Eingang finden, das muss aber bald geschehen, denn die Ergebnisse haben Auswirkungen auf das reale Leben.

Gibt es in der Mainstream-Wirtschaftsforschung Orte, wo Metathemen und Methoden diskutiert werden, außer in Initiativen?

MD: Auf der Jahrestagung der American Economic Association spielt das Thema Replikationen immer wieder eine Rolle und es wird auch darüber publiziert. Hier wurden wir vor ein paar Jahren zum Beispiel nach Chicago eingeladen, um darüber zu sprechen. Hier ist das Thema präsent.

Wie sehen Sie die Zukunft von Open Science?

MD: Ich sehe das positiv, denn immer mehr Leute reden über Open Science und Replikationen, auch in verschiedenen Disziplinen und in verschiedenen Journals. Ich glaube, es kommt darauf an, in welchem akademischen Bereich man arbeitet. In einigen Fachbereichen geht es schneller voran, bei den Ökonom:innen zum Beispiel etwas langsamer. Aber es wird immer mehr, dass die Leute daran arbeiten. Ich denke da auch an die Berkeley Initiative for Transparency in the Social Sciences. Das Thema wird definitiv nicht plötzlich weg sein, da zu viele Leute ihr Herzblut investiert haben und das voranbringen wollen.

Letzte Frage: Was würden Sie jungen Wissenschaftler:innen raten?

MD: Ich würde ihnen raten, schon bei der Promotion mit einer Schlüsselpublikation zu arbeiten und diese versuchen zu replizieren. Man lernt sehr viel beim Replizieren und stößt dann vielleicht auch auf etwas, das zu neuen Methoden oder Konzepten und so wieder zu neuen innovativen Erkenntnissen führt.

Vielen Dank!

Das Interview wurde geführt von Dr. Doreen Siegfried.

Das Interview wurde geführt am 28.05.2021.

Über Dr. Maren Duvendack

Maren Duvendack ist Senior Lecturer an der School of International Development an der University of East Anglia (UK), wo sie hauptsächlich im Rahmen des MSc Impact Evaluation for International Development unterrichtet. Ihre Forschungsschwerpunkte umfassen angewandte Mikroökonometrie, Wirkungsevaluation, systematische Literaturrecherchen und Meta-Analysen, Mikrofinanzierung, Replikation und Reproduktion quantitativer Analysen sowie Forschungsethik. Nach Abschluss ihrer Promotion arbeitete sie als Postdoctoral Fellow am International Food Policy Research Institute in Washington DC, bevor sie am Overseas Development Institute in London als Research Fellow im Bereich Evaluation und Impact Assessment tätig war.

Kontakt: https://people.uea.ac.uk/m_duvendack

ORCID-ID: https://orcid.org/0000-0002-8125-9115

Twitter: https://twitter.com/marenduvendack

LinkedIn: https://www.linkedin.com/in/maren-duvendack-a332a5

Zurück zum Open-Science-Magazin