Replikationen sind der direkteste Weg, einem Diskurs beizutreten

Martin Sievert über seine Open-Science-Erfahrungen

Wie sind Sie zum Thema Open Science gekommen?

MS: Ich habe während meines Masterstudiums einen Dozenten gehabt, Prof. Dr. Dominik Vogel, der sehr viel Wert darauf gelegt hat, dass die Studierenden wissenschaftliches Arbeiten verstehen. Er hatte einen Kurs über zwei Semester, in dem man als Student:in den Forschungsprozess einmal komplett durchläuft. In diesem Zusammenhang war Open Science immer wieder ein Thema, inklusive Hypothesen präregistrieren und Codes und Daten zur Verfügung stellen, so dass es reproduzierbar ist. Ich fand das intuitiv sinnvoll und bin auch später dabei geblieben. Aktuell ist Open Science eher so ein Key Selling Point, weil man dadurch herausstechen kann. Meiner Meinung nach sollte es aber eher der Minimalstandard sein. Ich habe nach dem Studium mit Dominik Vogel zwei Paper verfasst, wo wir die Präregistrierung bei Open Science Framework gemacht haben. Auch die Daten haben wir bei OSF hochgeladen und die R-Codes bei Code Ocean. Die Forschungsprojekte in meiner Dissertation sind im Grunde genauso angelegt. Auch in Mannheim werden Open Science Practices als etwas Wünschenswertes wahrgenommen. Ich finde den Mehraufwand vertretbar, und es macht die Forschung, finde ich, allgemein vertrauenswürdiger.

Beobachten Sie in den Wirtschaftswissenschaften Diskussionen über derartige Seminare, wie Sie sie erlebt haben? Erkennen Sie Unterschiede im Vergleich USA versus Deutschland?

MS: Durchaus: Die meisten, die Open Science betreiben, geben ihr Wissen auch an die Studierenden weiter, wollen dann vielleicht auch Multiplikator:in innerhalb der Community sein. Das ist zumindest bei meinem Umfeld verbreitet. Was ich auch beobachten kann: Für die Wissenschaftler:innen, die sich in ihrer eigenen Arbeit nicht mit Open Science vertraut gemacht haben, ist es natürlich schwierig, Open Science in ihre Lehre zu integrieren. Das führt dazu, dass einige Studierende in Kurse kommen, in denen Open-Science-Praktiken nähergebracht werden, und andere nicht. Da fehlt es vielleicht auch an einer Plattform zum Austausch der Wissenschaftler:innen untereinander. Eine gute Idee wäre zum Beispiel, wenn Studierende mehr Replikationsstudien machen würden, während sie das wissenschaftliche Handwerk erlernen. Es erscheint mir sinnvoll, wenn Studierende eine Replikationsstudie machen und sich dabei auf das Wesentlich konzentrieren können. Ideal wäre es, wenn Studierende vor ihrem Abschluss in einem Semester den ganzen Forschungsprozess durchlaufen – ohne den Druck, sich etwas Neues auszudenken. Man sagt: Sucht Euch einen relevanten Teil aus Eurem Forschungsgebiet, guckt, was Euch interessiert, und wiederholt die Studie so gut es geht und mit den Mitteln, die zur Verfügung stehen. Mit einem solchen Ansatz wären die Lernergebnisse betreffend wissenschaftliche Praxis sehr gut. Dafür braucht es aber auch Personen, die vorausgehen und solche Ansätze auf der professoralen Ebene voranbringen. In Mannheim haben wir das Open Science Meetup und die UB, die Open Science in die gesamte Universität tragen. Das finde ich einen guten Schritt.

Haben Sie durch Open Science konkrete Vorteile erlebt? Konnten Sie während Ihres Forschungsaufenthaltes in den USA Ihre Open-Science-Aktivitäten ins Feld führen und damit punkten?

MS: Mein Auslandaufenthalt fußt auf meinen Open-Science-Aktivitäten, weil ich bei den Kollegen bin, deren Studie ich repliziert habe. Den Erstautoren habe ich auf meiner allerersten Konferenz getroffen, und seitdem haben wir Kontakt. Völlig unabhängig davon habe ich diese Studie repliziert. Ich finde es auch wichtig, dass man die Replikationsstudie nicht an den Autor:innen vorbei macht. Und die Replikationsstudie hat dazu geführt, dass der Kontakt sehr intensiv war. Die Forschungsinteressen überschneiden sich ja ganz offensichtlich. Es geht eben um das kumulative Generieren von Wissen und das Weiterdenken von bestehenden Ideen. Insofern kann ich resümieren, dass Open Science Sichtbarkeit bedeutet. Bei einer publizierten Replikation setzt man sich im Idealfall mit den Originalautor:innen auseinander, und die haben einen dann auf dem Zettel. Bei den meisten Personen bekommt man dann auch eine gewisse Wertschätzung entgegengebracht, weil man deren Forschung repliziert.

Konnten Sie die Studienergebnisse verifizieren?

MS: Ich konnte die Studie nicht verifizieren, auch wenn verschiedene Dinge, u.a. Äquivalenztests, probiert wurden. Es sind Null-Findings. Das macht die Replikation auch erst richtig spannend, weil ich dann darüber nachdenken muss, warum das passiert ist. Und was bedeutet dies für den theoretischen Mechanismus, den wir da untersuchen? Und das ist der schwierige Teil an einer Replikation, auf den man sich gedanklich vorbereiten sollte. Aber das ist für mich auch ein wichtiger Punkt, der eben dazugehört. Man sollte sich anschauen und begründen können, welche Unterschiede man ggf. finden konnte und warum das so ist.

Wie sieht Ihr Gespräch mit dem Erstautoren aus?

MS: Wir sind jetzt über die Implikationen im Gespräch. Ich hatte dem Erstautoren die Studie damals nicht angekündigt. In Zukunft würde ich es eher ankündigen. Ich finde es besser, mit den Leuten vorher zu reden, weil man sich sehr viel Input holen kann, z.B. für das Design. Dies minimiert spätere Diskussionspunkte und man hat jemanden, der raufgucken kann und sich mit den Sachen auskennt. Sollte die Reaktion aber eher verhalten sein, ist dies natürlich kein Grund, die Replikationsstudie nicht zu machen.

Wie funktioniert das Zusammenspiel im Reputationskosmos?

MS: Bei den drei Erstautor:innen der Studie, die ich repliziert habe, waren die Reaktionen und auch die Kommunikation sehr unterschiedlich. Insgesamt haben sie sich über die Aufmerksamkeit gefreut, wenn auch in Nuancen. Ich habe aktuell auch nur mit dem einen Autor Kontakt, der sehr responsiv ist. Er findet es natürlich bedauerlich, dass diese Findings rauskommen, denn das Ergebnis hätte so viele gute praktische Implikationen für öffentliche Organisationen gehabt. In Summe waren die Reaktionen der Autor:innen und des Forschungsfelds aber sehr positiv. Ich habe beispielsweise eine E-Mail von einem renommierten US-Forscher bekommen, der sehr publikationsstark ist. Er gratulierte und schrieb, dass er die Replikation gern selber gemacht hätte, es nun aber klasse findet, dass der Job jetzt sozusagen erledigt ist. Das hat auch dazu geführt, dass ich ihn jetzt persönlich getroffen habe. Insgesamt haben sich also mehr Sichtbarkeit, eine bessere Vernetzung und Kooperationsmöglichkeiten aus der Replikation ergeben. Es ist für mich der direkteste Weg einem Diskurs beizutreten.

Wie stehen Sie zum Thema Open Access?

MS: Da ich das Ganze sehr pragmatisch sehe, ist es für mich momentan ein Alleinstellungsmerkmal: es wird mehr gelesen und zitiert. Wenn man die Möglichkeit hat, mehr Sichtbarkeit zu bekommen, sollte man sie auch nutzen. Ich will aber natürlich auch, dass jede:r die Veröffentlichung lesen kann.

Wie sieht das konkret in der Praxis aus?

MS: Ich schaue durchaus, wo veröffentlicht werden kann, mit wem die DEAL-Verträge abgeschlossen sind. Wir wählen die Journals nicht primär danach aus, aber vielleicht gibt man sich mehr Mühe, wenn man bei Wiley einreicht, weil man weiß, das ist eine potenzielle Open-Access-Veröffentlichung. In Mannheim werden die Gebühren von der UB übernommen. Wir müssen da eigentlich nur zwei Klicks machen, manchmal gar nichts. Zusätzlich kommen die Publikationen und Materialien in ein Projektverzeichnis beim Open Science Framework, wo die Sachen in der Regel auch von Google Scholar gecrawlt werden. Wir haben jetzt auch mal einen Preprint auf SSRN veröffentlicht. Mein Eindruck bisher: Preprints führen zu mehr Diskussionen rund um das Paper und somit auch zu mehr Sichtbarkeit.

Veröffentlichen Sie Forschungsdaten und -skripte?

MS: Ja, die Daten veröffentlichen wir in der Regel. Wir laden immer die Materialien hoch, sowohl beim Journal als auch im Open Science Repository. Mittlerweile nutze ich für Analysecodes auch Code Ocean, weil es einfacher händelbar ist. Es ist wie eine Zeitkapsel. Ich definiere die R-Version und die Packages außerhalb des Codes und dann lege ich den Code innerhalb dieser R-Umgebung an. Am Ende versiegele ich den Code und dann kann man auch innerhalb der Kapsel nichts mehr ändern. Das ist ziemlich praktisch. Ich kann auf START klicken und es wird auch in zehn Jahren noch funktionieren.

Was genau laden Sie im Open Science Framework hoch?

MS: Ich mache dort auf jeden Fall die Vorregistrierung, ich verlinke dort Code Ocean und ansonsten lade ich dort alles hoch, was ich auch im Dataverse hochladen würde. Also Vorregistrierung, Skript, Daten und alles andere zur Vereinfachung ist verlinkt. Da gibt es auch relativ viele Zugriffe. Aber man muss es eben auch entsprechend immer und überall verlinken, für die Sichtbarkeit. Es kommt in jeden Twitterpost rein. Es steht im Lebenslauf, es steht auf der Website. Hier funktioniert OSF als Basis sehr gut.

Wurden Sie schon einmal von jemandem angesprochen, der es gelobt hat, dass dort alles zu finden ist?

MS: Tatsächlich ja. Beim letzten Journal hatte ich einen Editor, der das extrem gut fand. Der hatte das Journal gerade übernommen, eine Replikationssektion eingeführt und insgesamt viel verändert. Und für den ist es, glaube ich, gut zu sehen, wie das auf der praktischen Ebene läuft, um seine Journal-Guidelines anzupassen. Natürlich findet ein Editor es besser, wenn man alles in einer strukturierten Form in einem OSF abgelegt hat als wenn es irgendwo im Dataverse rumliegt. Bei empirischen Studien wird das in diesem Journal implizit eingefordert und bei Replikationen ist es Voraussetzung.

Reden wir über Wissenschaftskommunikation: Welche Rolle spielt der Dialog mit nichtwissenschaftlichen Akteur:innen? Bereiten Sie Ihre Ergebnisse auch für die Öffentlichkeit auf?

MS: In ausgewählten Fällen ja. Bei der Replikationsstudie ist der Diskurs eher wissenschaftsintern, da sehe ich den Mehrwert auch nicht. Aber bei einem Feldexperiment zu Covid-Impfungen hat mein Co-Autor, Dr. Florian Keppeler, zum Beispiel ein Policy Paper geschrieben, den Preprint veröffentlicht und sehr viel Arbeit in Outreach reingesteckt. Es war gut zu sehen, dass Forschung auch auf der nichtwissenschaftlichen Ebene Anklang finden kann. Ich denke, man muss sich die Wissenschaftskommunikation gut aufteilen, weil der Arbeitsaufwand sehr groß ist.

Wo sehen Sie als PhD-Student die Entwicklung von Open Science?

MS: Es gibt natürlich mehrere Betrachtungsweisen. Was mir einfällt: Wenn sich Ideen nicht möglichst schnell verteilen, dann sterben sie aus. Das Wissenschaftssystem ist durch Anreize dominiert, die es schwermachen, diese Innovation zu übernehmen. Aktuell herrscht viel Idealismus und Pragmatismus. Die Frage ist, wo kommen die Leute mit Open Science in Berührung? Es muss eine Initialzündung geben. Sicherlich gibt es überall Open-Science-Gruppen, aber man muss da eben auch hingehen und sich einbringen. Ich glaube, damit sich das Wissenschaftssystem ändert, müssen gewisse Kompetenzen früher vermittelt werden. Studierende müssten mehr dazu befähigt werden, kritisch zu denken, genau hinzuschauen. Menschen müssen dazu befähigt werden, kritisch mit Informationen umzugehen. Dazu gehört, dass man ein Verständnis davon hat, was gute wissenschaftliche Praxis ist, was Open Science ist. Und es ist egal, ob ich nach dem BWL-Studium an der Hochschule bleibe oder in eine Unternehmensberatung gehe. Wenn ich in der Wirtschaft echte Mehrwerte schaffen möchte, muss ich kritisch mit Fachpublikationen umgehen können. Wir brauchen Dozent:innen, die Open Science in die Lehre einbringen.

Vielen Dank!

Das Interview wurde geführt von Dr. Doreen Siegfried.

Das Interview wurde geführt am 20.09.2021.

Über Martin Sievert

Martin Sievert ist wissenschaftlicher Mitarbeiter und Doktorand am Lehrstuhl für Allgemeine Betriebswirtschaftslehre, Public und Nonprofit Management an der Universität Mannheim. Seine Forschungsinteressen sind Organisationale Legitimität, Person-Environment Misfit und Behavioral Public Administration.

Kontakt: https://www.bwl.uni-mannheim.de/helmig/team/martin-sievert-msc/#c77485

ORCID-ID: 0000-0002-1331-2439

Twitter: @martinsievert

LinkedIn: https://www.linkedin.com/in/martin-s-00143214b/

ResearchGate: https://www.researchgate.net/profile/Martin-Sievert-3

Zurück zum Open-Science-Magazin