Open Science fördert die Qualität von Forschung

Oliver Genschow über seine Open-Science-Erfahrungen

Gab es ein einschneidendes Erlebnis, welches Sie für das Thema Open Science sensibilisiert hat?

OG: Ja, das geschah gegen Ende meiner Promotion im Jahr 2012. Zu dieser Zeit begann der sogenannte Stapel-Fall. Dies war definitiv ein sehr prägendes Erlebnis.

Können Sie bitte kurz erläutern, worum es sich beim Stapel-Fall handelt?

OG: Der Stapel-Fall bezieht sich auf den Sozialpsychologen Diederik Stapel, der später des Datenbetrugs überführt wurde. Dies führte zu erheblichen Diskussionen in der Sozialpsychologie und löste eine große Kontroverse aus. Später wurden auch andere Fälle von Wissenschaftlern wie Dirk Smeesters aus den Niederlanden und Lawrence Sanna aus den USA bekannt. Dies war meine erste Sensibilisierung dafür, dass es möglicherweise Unregelmäßigkeiten in der wissenschaftlichen Praxis gibt. Ich war verunsichert und überlegte, ob ich in der Wissenschaft bleiben möchte. Im Jahr 2015 wurde dann von einem großen Forschungskonsortium, der sogenannten Open Science Collaboration, ein Artikel veröffentlicht, in dem versucht wurde, Befunde in den Bereichen Sozial- und Kognitionspsychologie zu replizieren. Die Autor:innen des Artikels konnten nur etwa ein Drittel bis die Hälfte der ursprünglichen Ergebnisse erfolgreich replizieren. Das hat definitiv für eine Erschütterung im Feld und bei mir persönlich gesorgt und aufgezeigt, wie die aktuelle Situation in unserem Forschungsfeld aussieht.

Und wann gab es für Sie eine klare Entscheidung für Open Science?

OG: Dies geschah während meiner Postdoc-Phase, als ich an Konferenzen und Paneldiskussionen das Thema Open Science vermehrt wahrgenommen habe. Es wurde für mich immer klarer, dass die bisherige Forschungspraxis in unserem Feld nicht ausreichte, um belastbare Befunde aufzudecken. Ich entschied mich dann, die Open Science Methoden stärker in meinen Forschungsalltag zu implementieren. Während meiner Postdoc-Phase war das wissenschaftliche Umfeld allerdings noch nicht sehr stark in die Materie von Open Science eingetaucht. Deshalb dauerte es bis zum Jahr 2017, als ich eine Juniorprofessur an der Universität zu Köln antrat, bis ich die Open Science-Methoden vollständig in meinen täglichen Workflow integrierte. Am Forschungszentrum in Köln —dem Social Cognition Center Cologne — praktizierten bereits sehr viele Forscher:innen die Prinzipien von Open Science, was mir die eigene Umsetzung erleichterte.

Wenn ich mir Ihre bisherigen Schriften anschaue, sehe ich, dass Sie Präregistrierungen durchführen und Registered Reports veröffentlichen. Lassen Sie uns genauer auf bestimmte Praktiken eingehen, beginnen wir vielleicht mit den Präregistrierungen. Welche Erfahrungen haben Sie damit gemacht und welche Vorteile haben sich daraus ergeben? Wie hat die wissenschaftliche Gemeinschaft darauf reagiert?

OG: Nun, ich denke, ein Vorteil von Präregistrierungen, auch wenn es vielleicht banal klingt, ist, dass man sich vorab intensiver Gedanken über seine Forschung macht. Das hat meine Forschung in gewisser Weise verbessert, da wir nun vor der Datenerhebung noch intensiver über das Forschungsdesign, den zu erwartenden Effekt und die Analysen nachdenken. Dadurch fallen mitunter Dinge auf, die uns sonst nicht aufgefallen wären. Dies ist definitiv eine praktische Verbesserung.

Das Feedback aus der wissenschaftlichen Gemeinschaft kann ich schlecht beurteilen, da ich bisher wenig Rückmeldung zu meinen Open Science Praktiken erhalten habe. Was ich jedoch festgestellt habe, ist, dass diejenigen, die später auf den Open-Science-Zug aufgesprungen sind und ihre Studien nicht präregistriert haben, Schwierigkeiten hatten, ihre Forschung zu veröffentlichen. In der Sozialpsychologie ist es denn auch mittlerweile schwierig, Forschung in angesehenen Fachzeitschriften zu veröffentlichen, wenn sie nicht präregistriert ist. Daher würde ich sagen, dass es eher von Nachteil ist, wenn man die Forschung nicht präregistriert, als dass es ein Vorteil wäre, wenn man die eigene Forschung präregistriert.

Sie haben bereits erwähnt, dass Sie Ihre Forschungsdaten veröffentlichen. Nutzen Sie Online-Plattformen wie Github, RunMyCode, Open Science Framework oder ähnliche, um Forschungsdaten und Skripte zu teilen?

OG: Hauptsächlich nutze ich das Open Science Framework.

Konnten Sie für sich persönlich Vorteile feststellen, nachdem Sie Ihre Daten veröffentlicht haben?

OG: Ja, tatsächlich. Ich erinnere mich noch an meine ersten Male, als ich Daten öffentlich zugänglich gemacht habe. Dieser Prozess war durchaus nervenaufreibend. Aber diese Nervosität führte dazu, dass ich meine Daten noch genauer überprüfte und kritischer auf Fehler untersuchte.

Das Veröffentlichen von Daten hilft mir zudem, Daten und Analyseskripte von Anfang an so aufzubereiten, dass sie von anderen nachvollzogen und genutzt werden können. Dadurch behält man auch selbst eine bessere Übersicht über die Daten. Wenn dann Anfragen bezüglich der Nutzung von Daten kommen, sei es für eine Metaanalyse oder andere Zwecke, dann kann ich einfach einen Link mit allen Informationen teilen. Man kann also sagen, dass wenn man Daten für die Öffentlichkeit aufbereitet und teilt, man letztendlich Arbeit und Zeit spart. Dies ist gilt nicht nur für die Forscher:innen, die Daten bereitstellen, sondern auch für externe Datennutzer. So erleichtert es die Arbeit erheblich, wenn man einfach auf das Open Science Framework gehen kann, um sich Daten anzusehen oder Re-Analysen durchzuführen.

Führen Sie Replikationsstudien durch, und konnten Sie dabei Vorteile sowohl für sich als auch für die wissenschaftliche Gemeinschaft feststellen?

OG: Ja, wir führen viele Replikationsstudien durch, teilweise als Registered Reports. Ich sehe sowohl für mich als auch für die wissenschaftliche Gemeinschaft viele Vorteile darin. Einer der Hauptvorteile besteht darin, dass ich durch die Durchführung von Replikationen ein besseres Verständnis für Forschungsmethoden und -designs entwickelt habe. Ich habe ein besseres Gespür dafür bekommen, welche Methoden erfolgreich sein können und welche nicht. Das führt auch dazu, dass ich besser vorhersagen kann, welche Ergebnisse replizierbar sind und welche eben nicht.
Gleichzeitig sind Replikationen für die tägliche Forschungsarbeit von großer Bedeutung, da sie uns helfen festzustellen, ob ein bestimmtes Ergebnis robust und zuverlässig ist. Das ist ein nicht zu vernachlässigender Aspekt der Forschung. Früher hatte ich die Auffassung vertreten, dass die Durchführung mehrere Studien mit geringer Stichprogengröße sinnvoll ist. Ich dachte, dass, falls eine Studie nicht klappen sollte, keine Ressourcen verschwendet werden. Gleichzeitig dacht ich, dass bei einem positiven Effekt mit kleine Stichprobe, davon auszugehen ist, dass der Effekt auch mit großer Stichprobe replizierbar sei. Von dieser Herangehensweise bin ich mittlerweile abgekommen. Ich bevorzuge es nun, direkt eine hoch-gepowerte Stichprobe mit vielen Versuchspersonen durchzuführen, um eine möglichst präzise Schätzung der Effektgröße zu erhalten. Replikationen sind in diesem Zusammenhang äußerst hilfreich und informativ.

Ich glaube auch, dass Replikationen für das gesamte Forschungsfeld von großer Bedeutung sind, um festzustellen, welche Theorien und Ergebnisse belastbar sind und welche nicht. Wir führen dabei Replikationen sowohl von Studien, die von anderen Forscher:innen veröffentlicht worden sind, als auch von unseren eigenen Befunden durch. Kürzlich haben wir zum Beispiel einen Artikel veröffentlicht, in dem wir mit einem etwas abgewandelten Paradigma unsere eigenen zuvor veröffentlichten Ergebnisse aufgrund fehlgeschlagener Replikationen in Frage stellen.

Lassen Sie uns über das Thema Wissenschaftskommunikation sprechen. Sie sind einer der Herausgeber:innen des Online-Magazins „In-Mind“, und Sie haben bereits mehrere Auszeichnungen dafür erhalten. In diesem Magazin veröffentlichen nicht nur Sie Ihre Forschungsergebnisse, sondern es handelt sich hauptsächlich um Überblicks- und Reviewartikel zu verschiedenen Forschungsthemen. Wie ist die Resonanz auf diese Art der Wissenschaftskommunikation? Haben Sie dadurch positive Auswirkungen auf Ihre eigene Arbeit erfahren, sei es von anderen Disziplinen oder von nicht-wissenschaftlichen Stakeholdern?

OG: Typischerweise veröffentlichen wir bei „In-Mind“ Übersichtsartikel zu verschiedenen Forschungsthemen. Unsere Autor:innen schreiben für ein breites Publikum, insbesondere für Laien. Alle Magazin-Artikel durchlaufen dabei ein Peer-Review-Verfahren, in dem Expert:innen, und teilweise Journalist:innen, darauf achten, dass die Artikel sowohl wissenschaftlich fundiert als auch verständlich für Laien verfasst sind.

Meine Tätigkeiten bei In-Mind betreffen hauptsächlich koordinative und organisatorische Aufgaben. Teilweise schreibe ich aber auch selber Magazin- und Blog-Artikel. Hin und wieder werde ich auf diese Artikel angesprochen oder erhalte Interviewanfragen von Journalist: innen, die sich aufgrund meiner Artikel an mich wenden. So hatte ich zum Beispiel während der Corona-Pandemie einen Artikel über Knappheit von Konsumgütern verfasst, der dazu geführt hat, dass ich vermehrt Medienanfragen zu diesem Thema erhalten habe.

Die stärkste Resonanz erhalten wir allerdings nicht für einzelne Artikel, sondern für die Arbeit, die wir als gesamtes Editorial-Team leisten. So erhalten wir immer häufiger positive Rückmeldungen für unsere Verdienste in der Wissenschaftskommunikation. Dass unsere Arbeit in der wissenschaftlichen Gemeinschaft geschätzt wird, war allerdings nicht immer der Fall. Gerade zu unseren Anfängen wurde der Nutzen und die Wichtigkeit von psychologischer Wissenschaftskommunikation von der wissenschaftlichen Gemeinschaft teilweise angezweifelt. Glücklicherweise wird unsere Arbeit und unser Beitrag für das Feld mittlerweile sehr positiv wahrgenommen.

Haben Sie den Eindruck, dass Ihre Forschungsthemen durch Ihre Wissenschaftskommunikation oder durch das In-Mind-Magazin sichtbarer geworden sind? Ihr Forschungsbereich scheint nicht zu den Nischenthemen zu gehören, und Ihre Arbeit ist vermutlich für viele verständlich, oder?

OG: Tatsächlich sehe ich meinen Forschungsbereich durchaus als eher nischig an. Dies betrifft auch meine Forschung zu Imitation. In gewisser Weise kennen viele Menschen das Phänomen, dass sich Menschen automatisch nachahmen. Gleichzeitig sind viele der Studien, die wir in diesem Bereich durchführen, pure Grundlagenforschung, die für die meisten Menschen nicht unbedingt relevant oder von Interesse ist. Zudem arbeiten weltweit nicht so viele Forscher:innen an diesen Fragestellungen, wodurch, verglichen mit anderen Forschungsrichtungen, nicht so viele Artikel zu dem Thema publiziert werden. Meine Forschung zum Glauben an den freien Willen oder Konsument:innenverhalten sind etwas mainstream-tauglicher. Trotzdem sind auch bei diesen Forschungsthemen einige meiner Detailfragen recht spezifisch und nischig. Deshalb habe ich bisher nicht so viele In-Mind Artikel zu meiner eigenen Forschung veröffentlicht.

Würden Sie sagen, dass das Hauptziel des Magazins darin besteht, die psychologische Forschung stärker ins Bewusstsein der Öffentlichkeit zu rücken?

OG: Genau das ist unser Hauptziel. Wir möchten eine Plattform bieten, auf der Psychologieforscher:innen ihre Arbeit einem breiten Publikum verständlich machen können. Besonders in der Psychologie gibt es die Herausforderung, dass viele Menschen das Thema spannend finden. Gleichzeitig existieren viele Angebote zur Psychologie, die nicht wissenschaftlich fundiert sind. Wenn man durch die Medien blättert oder online nach psychologischen Themen sucht, stößt man auf viele unseriöse Angebote und Mythen, die empirischen Überprüfungen nicht standhalten. Selbst bekannte Zeitschriften haben Psychologie-Rubriken, in denen oft interessante, aber nicht wissenschaftlich fundierte Ergebnisse präsentiert werden. Oft handelt es sich nicht einmal um echte Forschungsergebnisse, sondern um Einzelmeinungen, die dann als allgemeingültige Gesetze dargestellt werden. Dies vermittelt der Gesellschaft ein falsches Bild der Psychologie. Das hat uns schon immer gestört, weshalb wir beschlossen haben, das Magazin zu gründen. Unser Ziel ist es, belastbare Forschungsergebnisse für ein breites Publikum verständlich aufzubereiten. Daher nutzen wir auch ein Peer-Review-Verfahren.

Was die Verbreitung unserer Artikel betrifft, erhalten wir Anfragen von ganz verschiedenen Seiten — sei es von Verlagen, die Schulbücher publizieren, oder auch von anderen Medien. Typischerweise werden wir gefragt, ob unsere Artikel wiederverwendet werden dürfen. Da In wir an der Verbreitung von seriöser Wissenschaft interessiert sind, verfügen alle In-Mind Artikel über eine Creative-Commons-Lizenz, die es allen erlaubt, unsere Artikel zu nutzen und weiterzuverbreiten. Einige Medien, die unsere Inhalte wiederverwenden, spenden uns als Gegenleistung freiwillig einen Betrag, um unsere Arbeit zu unterstützen.

Sie sind sehr aktiv im Bereich Open Sciene. Haben Sie Tipps für Wissenschaftler:innen, die bisher noch keine Erfahrung mit Open Science haben und beim Einstieg besonders beachten sollten?

OG: Das ist eine gute Frage. Mein Rat ist vermutlich, keine Angst zu haben. Oftmals höre ich von Forscher:innen, die noch keine Erfahrung mit Open Science gemacht haben, dass sie Bedenken bezüglich der Veröffentlichung von Daten haben oder sich Sorgen um Copyright-Probleme und Anonymität machen. In der Praxis sind die Fälle, bei denen Urheberrechte und Anonymitätsbedenken einer Veröffentlichung von Daten im Wege stehen, allerdings höchst selten.

Häufig höre ich auch, dass die Implementierung von Open Science Maßnahmen viel Aufwand bedeutet. Meine Antwort auf diese Bedenken ist jeweils, dass durch die Umsetzung von Open Science im Endeffekt eher Arbeit wegfällt. Dies lässt sich am Beispiel von Präregistrierung schön veranschaulichen: Früher oder später muss man sich über die eigenen Hypothesen, die Anzahl der Versuchspersonen und des Forschungsdesigns ohnehin Gedanken machen. Durch die Durchführung einer Präregistrierung denkt man über dies Aspekte vermutlich noch intensiver nach, was schlussendlich dazu führen kann, dass Mängel in der Methodik und der Analysestrategie vor der Erhebung der Daten erkannt werden. Dadurch verbessert sich die Qualität einer Studie, wodurch schlussendlich Ressourcen und Zeit gespart werden. Gleiches gilt im Prinzip für die Veröffentlichung von Daten und Materialien. Zumindest kann ich von mir behaupten, dass ich meine Dokumente mittlerweile von Anfang an viel besser organisiere, weil ich weiß, dass ich später alles öffentlich zugänglich machen werde. Durch die bessere Organisation spare ich Zeit und Arbeit. Zudem kann ich bei Nachfragen zu Daten und Materialien ohne großen Aufwand auf den öffentlichen Link verweisen.

Ein weiteres Bedenken, dass ich häufig höre, ist die Sorge interessante Effekte, die nicht präregistriert wurden, unpublizierbar werden. Dies ist ein Irrglaube. Denn, solange man klar zwischen hypothesengeleiteter und explorativer Datenanalyse unterscheidet, können auch nicht-präregistrierte Analysen und Befunde wunderbar veröffentlicht werden.

Grundsätzlich bin ich der Meinung, dass Präregistrierungen und das Veröffentlichen von Daten und Materialien in den allermeisten Fällen keine negativen Auswirkungen haben. Meist überwiegen die Vorteile. Schlussendlich rate ich all jenen, die Bedenken haben, es einfach einmal auszuprobieren. Ich gehe davon aus, dass man dann relativ schnell merkt, dass die meisten ursprünglichen Bedenken nicht zutreffen.

Neben den persönlichen Vorteilen von Open Science tut man schlussendlich durch die Wahrung von Transparenz in der Wissenschaft der ganzen Forschungsgemeinschaft einen wertvollen Dienst. Ich habe das Gefühl, dass durch Open Science Praktiken, die Qualität der Forschung steigt und die einzelnen Befunde belastbarer werden.

Ja, okay, wie beurteilen Sie die zukünftige Bedeutung von Open Science basierend auf Ihren Erfahrungen?

OG: Ich glaube, dass die Open Science Bewegung nicht mehr aufzuhalten ist. Ich sehe tatsächlich kaum bis gar keine echten Nachteile bei der Umsetzung von Open Science. Letztendlich bringt die Umsetzung von Open Sciene Vorteile sowohl für die gesamte wissenschaftliche Gemeinschaft als auch für jede:n Einzelne:n.

So gibt es auch Studien, insbesondere aus der Psychologie und Sozialpsychologie, die zeigen, dass seit dem verstärkten Open Science Engagement, die Replikationsrate von Befunden gestiegen ist. Daher denke ich, dass Open Science früher oder später in allen Disziplinen, in denen die Open Science Prinzipien umsetzbar sind, eine wichtige Rolle spielen wird.

Haben Sie konkrete Pläne für weiteres persönliches Engagement in Bezug auf Open Science?

OG: In der Lehre habe ich Open Science bereits fest integriert. Jede meiner Veranstaltungen beinhaltet zu Beginn des Semesters einen Open-Science-Block. Dabei schauen wir uns zunächst Gründe für die Replikationskrise in der Sozialpsychologie an und lesen dann Artikel, die Lösungsvorschläge für eine replizierbare Wissenschaft vorschlagen. Aufgrund der gelesenen Artikel erarbeiten wir dann Merkmale guter wissenschaftlicher Arbeiten. Diese Merkmale nutzen wir dann im weiteren Verlauf der Lehrveranstaltung, um zu beurteilen wie belastbar einzelne Studienergebnisse sind. Dadurch sind die Studierenden nicht nur über die Open Science Thematik informiert, sondern sind auch fähig wissenschaftliche Befunde realistisch einzuschätzen. Dieser Ansatz wird von Studierenden durchaus positiv und mit großem Interesse aufgenommen.

Darüber hinaus arbeite ich gerade an einem Drittmittel-Antrag, in dem wir ein Forschungsprojekt zur Replikation klassischer Befunde in der Psychologie vorschlagen. Hintergrund dieser Forschungsidee ist die aktuelle Entwicklung im Feld. So gibt es aus meiner Sicht durchaus negative Aspekte, die durch Open Science Bewegung ausgelöst wurden. So hat die Replikationskrise in der Sozialpsychologie dazu geführt, dass die Anzahl der zu erhebenden Versuchspersonen enorm gestiegen ist. Diese Steigerung ist durchaus gerechtfertigt, da die Effekte in der Psychologie oft klein sind und nur mit adäquaten Stichprobengrößen aufgedeckt werden können. Gleichzeitig führte die Erhöhung der Stichprobengröße dazu, dass Forschungsbereiche, die auf sozialer Interaktion und menschlichem Kontakt basieren, vernachlässigt werden. Es ist schlicht zu aufwändig, Hunderte von Proband:innen für solch zeitintensive und komplexe Studien zu rekrutieren. Dadurch geht diese Art von Forschung, die aus meiner Sicht den Kern der Sozialpsychologie ausmacht, immer mehr verloren. Dies betrifft auch Replikationen. So werden momentan viele Replikationen von Befunden durchgeführt, die im Labor oder online leicht umsetzbar sind. Die klassischen Experimente aus den 1960er, 1970er und 1980er Jahren, die oft soziale Interaktion erforderten, werden jedoch kaum repliziert. Dadurch entsteht ein verzerrtes Bild der Replizierbarkeit sozialpsychologischer Befunde. Wir haben nun begonnen ein paar der Klassiker zu replizieren und finden dabei eine erstaunlich hohe Replikationsquote. Diesen Forschungsansatz möchte ich in Zukunft weiter ausbauen, auch weil gerade die klassischen Befunde die Grundlage für Lehrbücher und somit das gesamte Feld sind.

Wenn Sie sozusagen unter der Frage „Open Science bedeutet für mich oder Open Science macht, mit mir“, wie würde dieser Satz lauten?

OG: Open Science ermöglicht die Erzeugung belastbarer Ergebnisse und fördert qualitativ hochwertige Forschung.

Vielen Dank!

Das Interview wurde am 16. Januar 2024 geführt von Dr. Doreen Siegfried.

Über Prof. Dr. Oliver Genschow:

Oliver Genschow ist Professor für Kognitions-, Sozial- und Wirtschaftspsychologie an der Leuphana Universität Lüneburg. In seiner aktuellen Forschung befasst er sich mit Imitationsverhalten und den Auswirkungen des Glaubens an den freien Willen. Dabei interessiert ihn auch Konsumentenverhalten. Oliver Genschow hat sich den Open-Science-Praktiken verpflichtet, indem er seine Studien präregistriert, sowie seine Daten und Materialien öffentlich zugänglich macht. Regelmäßig veröffentlicht Oliver Genschow Registered Reports und engagiert sich in einem häufig vergessenen Bereich der Open Science Bewegung: Nämlich der transparenten Kommunikation von Forschungsbefunden in laientauglicher Sprache. Als einer von vier Hauptherausgeber:innen des In-Mind Magazins, unterstützt Oliver Genschow Wissenschaftskommunikation von wissenschaftlich arbeitenden Psycholog:innen.

Kontakt: https://www.leuphana.de/institute/imo/personen/oliver-genschow.html

ORCID-ID: https://orcid.org/0000-0001-6322-4392

ResearchGate: https://www.researchgate.net/profile/Oliver-Genschow

Open Science Framework: https://osf.io/u5vf2/

Zurück zum Open-Science-Magazin