„Wir produzieren zu viele Sackgassen“

Jan Landwehr über seine Open-Science-Erfahrungen

Foto: Uwe Dettmar

Welche Rolle spielt Open Science für Sie? Und wann sind Sie dem Thema erstmals begegnet?

JL: Für mich, und vermutlich für viele andere, war das Science-Paper „Estimating the reproducibility of psychological science“ aus dem Jahr 2015 ein prägender Moment. In meiner Wahrnehmung wird diese Studie häufig als Ausgangspunkt der damals so bezeichneten Replikationskrise gesehen. Zunächst entfaltete sie ihre Wirkung vor allem innerhalb der Psychologie und trug dort wesentlich zu einer Bewegung bei, die stärker auf Open-Science-Praktiken setzte. Das war für mich persönlich durchaus einschneidend. Ich bin von Haus aus Psychologe mit einem Schwerpunkt in der Sozialpsychologie und war seit dem Studium stark von der Disziplin und ihren Erkenntnissen fasziniert. Einige Studien, mit denen wir im Studium gearbeitet haben, erschienen plötzlich nicht mehr als belastbare Grundlage für Aussagen über menschliches Denken, Fühlen und Verhalten. Es war für mich irritierend zu sehen, dass ein Teil dieser Befunde sich nicht ohne Weiteres replizieren ließ oder zumindest weniger stabil war als angenommen. In diese Zeit fielen zudem einige Fälle von Datenmanipulation durch prominente Forschende. Auch das hat die Diskussion geprägt und die Frage aufgeworfen, wie sich wissenschaftliche Praxis so gestalten lässt, dass Ergebnisse verlässlicher werden. In meinem Fall war dies der Ausgangspunkt, mich intensiver mit Ansätzen zu beschäftigen, die unter dem Stichwort Open Science zusammengefasst werden.

Viele Psycholog:innen berichten, dass die Replikationsdebatte ihr Verständnis von gesichertem Wissen erschüttert hat. Befunde, die lange als etabliert galten, oder Erkenntnisse aus über die Disziplin hinaus bekannten Experimenten, stehen plötzlich infrage. Haben Sie das ähnlich erlebt?

JL: Ja, das kann ich sehr gut nachvollziehen. Gerade in der Lehre spielt dies eine große Rolle. Ich gehe beispielsweise tatsächlich jedes Semester meine Vorlesungsfolien durch und frage mich bei vielen Studien: Halte ich dieses Ergebnis noch für plausibel? Glaube ich noch an diesen Befund? Ist das ein Befund, den ich den Studierenden weiterhin vermitteln möchte? Oder sollte ich ihn besser herausnehmen? Das führt auch dazu, dass ich gelegentlich Studien streiche, die über Jahre Teil meiner Lehrveranstaltungen waren. Dann denke ich rückblickend: Diese Studie war vielleicht ein Jahrzehnt lang in meinen Folien, aber inzwischen bin ich nicht mehr überzeugt, dass der berichtete Effekt belastbar ist. In solchen Fällen nehme ich sie aus dem Programm. Es gibt natürlich auch Situationen, in denen Studien offiziell zurückgezogen werden. Dann ist es aber klar, dass sie nicht mehr unterrichtet werden sollten. Insofern trifft Ihre Beschreibung den Kern der Erfahrung. Wenn zentrale Befunde infrage stehen, gerät das eigene Wissensfundament ins Wanken. Man verliert den Teppich unter den Füßen. Gleichzeitig entsteht daraus aber auch eine produktive Skepsis, welche Ergebnisse tatsächlich belastbar sind und zum Verständnis menschlichen Verhaltens beitragen, und es somit wert sind, in der Lehre weitergegeben zu werden.

Kehren wir noch einmal zu Ihren eigenen Erfahrungen zurück. Sie haben das Jahr 2015 als wichtigen Impuls beschrieben. Wie ging es danach für Sie weiter? Was hat sich in Ihrer eigenen Forschungspraxis verändert?

JL: Für das Verständnis meiner Forschungspraxis ist mein Werdegang bedeutsam. Mein Hintergrund ist, dass ich Psychologie studiert habe und nach dem Studium in die Wirtschaftswissenschaften gewechselt bin. Ich wurde im Bereich Marketing promoviert, später habilitiert und habe heute eine Professur für Marketing an einem wirtschaftswissenschaftlichen Fachbereich. Meine Lehre findet daher überwiegend in den Wirtschaftswissenschaften statt, nicht in der Psychologie. Gleichzeitig fühle ich mich beiden Disziplinen tief verbunden. Etwa die Hälfte meiner Publikationen liegt im Bereich Marketing, die andere Hälfte in der Psychologie. Auch bei den Konferenzen verteilt sich meine Teilnahme ähnlich. In gewisser Weise lebe ich interdisziplinär, weil ich in beiden Feldern aktiv forsche und publiziere.

Die Psychologie hat auf die Replikationsdebatte vergleichsweise früh reagiert und begonnen, ihre Forschungspraktiken zu überdenken. Diese Entwicklung habe ich aufmerksam verfolgt. Dadurch hatte ich den Vorteil, viele der dort diskutierten Ansätze früh kennenzulernen und in den Marketingkontext zu übertragen. In den Wirtschaftswissenschaften gehörte ich damit vermutlich zu denjenigen Pionieren, die entsprechende Praktiken relativ früh aufgegriffen haben.

In Vorbereitung auf unser Gespräch habe ich noch einmal nachgesehen: Seit etwa 2017 oder 2018 veröffentlichen wir zu unseren Studien systematisch Datensätze und Analyseskripte. In dieser Zeit haben wir auch begonnen zu präregistrieren. Meine erste Präregistrierung stammt aus dem Jahr 2018. Das fiel zeitlich mit der stärkeren Verbreitung entsprechender Infrastrukturen zusammen, etwa Plattformen wie dem Open Science Framework oder AsPredicted.

Wenn man bedenkt, dass viele Projekte mehrere Jahre bis zur Publikation benötigen, dann gehen diese Arbeiten häufig auf Studien zurück, die bereits kurz nach 2015 begonnen wurden. Insofern würde ich sagen, dass ich diese Entwicklungen relativ schnell aufgegriffen habe.

Konkret bedeutet das für unsere Forschungspraxis: Wenn es rechtlich möglich ist, stellen wir sowohl Datensätze als auch vollständige Analyseskripte öffentlich bereit, sodass andere Forschende unsere Auswertungen komplett nachvollziehen können. Außerdem präregistrieren wir konfirmatorische Studien. Das geschieht nicht in jedem Projekt, denn explorative Forschung bleibt selbstverständlich möglich und wichtig. Entscheidend ist aus meiner Sicht die transparente Unterscheidung, was ist explorativ, und was ist konfirmatorisch angelegt? Für unsere konfirmatorischen Experimente gilt seit 2018, dass sie präregistriert werden.

Wie haben Sie die Resonanz in Ihrer wissenschaftlichen Community erlebt? Welche Erfahrungen haben Sie selbst gemacht, seit Sie präregistrieren oder Datensätze und Analyseskripte veröffentlichen?

JL: Das erlebe ich tatsächlich zweigeteilt, je nach Disziplin. In der Sozialpsychologie ist es inzwischen weitgehend zur Norm geworden, Studien zu präregistrieren und Daten verfügbar zu machen. Wenn man das nicht tut, muss man das in vielen Journals ausdrücklich begründen. Und wenn es dafür keine überzeugenden Gründe gibt, kann das im Extremfall dazu führen, dass ein Beitrag nicht angenommen wird. Insofern würde ich sagen, dass sich in der Sozialpsychologie eine relativ klare Erwartung etabliert hat. Viele Forschende sehen diese Praktiken als sinnvollen Standard, und wer sich dem entzieht, muss das erklären.

Im Marketing ist das Bild heterogener. Auch dort gibt es zahlreiche Kolleg:innen, die Open-Science-Praktiken unterstützen und aktiv umsetzen. Gleichzeitig begegne ich noch häufiger als in der Psychologie der Haltung, dass dies vor allem zusätzlichen Aufwand bedeutet. Die Community ist hier stärker gespalten. Ein Teil sieht darin einen wichtigen Schritt für die Forschungspraxis und Forschungsqualität, ein anderer steht dem eher zurückhaltend gegenüber. Diese Unterschiede spiegeln sich auch im Publikationsprozess wider. Während es in der Psychologie oft ohne entsprechende Transparenzpraktiken deutlich schwieriger wird, zu publizieren, fällt die Reaktion im Marketing dagegen unterschiedlich aus. Manchmal heben die Reviewer es positiv hervor, dass Daten und Analyseskripte verfügbar sind, manchmal wird es gar nicht kommentiert.

Hat eine Präregistrierung für Sie auch einen praktischen Nutzen, etwa zur Strukturierung eigener Projekte?

JL: Für meine eigene wissenschaftliche Arbeit halte ich eine Präregistrierung für sehr wertvoll. Eine Präregistrierung hat zum Beispiel den Effekt, dass ich mich im Vorfeld deutlich gründlicher mit dem Studiendesign auseinandersetzen muss. Ich bin gezwungen, präzise zu formulieren, welche Hypothesen geprüft werden sollen, welche Daten erhoben werden und wie die Analyse erfolgen wird. Gerade in der Zusammenarbeit mit Nachwuchswissenschaftler:innen erlebe ich das als sehr hilfreich. In diesem Prozess zeigt sich häufig, ob ein Design tatsächlich tragfähig ist. Es kommt durchaus vor, dass man bei der Planung merkt, wenn wir das so umsetzen, entsteht eine Datenstruktur, die sich später kaum sinnvoll auswerten lässt. Solche Probleme lassen sich in der Planungsphase sehr gut korrigieren.

Ein weiterer Vorteil liegt in der Dokumentation. Forschungsprojekte können sich über mehrere Jahre erstrecken, und häufig wechseln in dieser Zeit auch beteiligte Personen. Doktorand:innen schließen ihre Promotion ab oder wechseln die Institution. Eine Präregistrierung schafft in solchen Fällen eine klare und nachvollziehbare Dokumentation. Es ist wie ein Reminder. Welche Manipulationen wurden vor drei oder vier Jahren vorgenommen? Wie sah das Material aus? Welche Hypothesen sollten geprüft werden? Das erleichtert es erheblich, ein Projekt auch nach längerer Zeit wieder aufzugreifen. Ähnlich sehe ich das Teilen von Daten und Analyseskripten. Wenn man weiß, dass diese Materialien öffentlich zugänglich sein werden, arbeitet man in der Regel strukturierter und dokumentiert die einzelnen Schritte sorgfältiger. Das erhöht die Nachvollziehbarkeit der eigenen Arbeit.

Ein weiterer Punkt betrifft die Unterscheidung zwischen explorativer und konfirmatorischer Forschung. Gerade weil Projekte oft über mehrere Jahre laufen, hilft eine Präregistrierung dabei, sich später daran zu erinnern, welche Hypothesen ursprünglich formuliert wurden und welche Analysen tatsächlich geplant waren. Das schafft Klarheit darüber, wie die Ergebnisse im Artikel dargestellt werden sollten. All diese Aspekte tragen aus meiner Sicht dazu bei, die eigene Forschungspraxis zu verbessern, und zwar ganz unabhängig davon, ob Gutachter:innen oder Herausgeber:innen solche Schritte ausdrücklich einfordern oder besonders hervorheben. Deshalb orientieren wir uns auch in Projekten im Marketingbereich an Open-Science-Standards, selbst wenn dies im jeweiligen Publikationskontext nicht zwingend erwartet wird.

Sie haben erwähnt, dass sich personelle Konstellationen in Projekten mitunter ändern, etwa wenn Doktorand:innen die Universität verlassen. Erleichtert eine Präregistrierung in solchen Fällen auch die Übergabe an neue Projektbeteiligte?

JL: Das ist tatsächlich ein praktischer Vorteil. Gerade in der BWL arbeiten wir mit relativ vielen Doktorand:innen, auch weil die Lehrverpflichtungen umfangreich sind. Gleichzeitig stehen diesen Nachwuchswissenschaftler:innen sehr gute Karriereoptionen außerhalb der Wissenschaft offen. Daher entscheidet sich oft erst während der Promotionsphase, ob jemand in der Forschung bleibt oder in die Praxis wechselt. In der Folge kommt es nicht selten vor, dass Projekte nach drei oder vier Jahren noch nicht vollständig abgeschlossen sind, während die beteiligte Person die Dissertation abgeschlossen und die Universität bereits verlassen hat. In solchen Situationen ist eine klare Dokumentation besonders hilfreich für eine Übergabe an neue Beteiligte, etwa andere Doktorand:innen oder zusätzliche Kooperationspartner.

Hat sich dadurch auch Ihre Betreuungspraxis verändert? Wird die Zusammenarbeit mit Doktorand:innen etwa strukturierter oder effizienter?

JL: Den größten Vorteil sehe ich weniger in einer Reduktion des Betreuungsaufwands, sondern eher darin, dass man weniger empirische Sackgassen produziert. Durch eine Präregistrierung ist man gezwungen, sich im Vorfeld sehr genau zu überlegen, wie ein Experiment aufgebaut sein soll, welche Daten erhoben werden und wie sie ausgewertet werden können. Ohne diese sorgfältige Planung kommt es gelegentlich vor, dass man ein Experiment durchführt, Daten erhebt und erst danach feststellt, dass ein entscheidender Aspekt im Design nicht ausreichend durchdacht war und man im Grunde wieder von vorn beginnen muss. Mein Eindruck ist, dass solche Situationen seltener werden, wenn man Projekte im Vorfeld systematischer plant. Das hat sowohl zeitliche als auch materielle Vorteile. Gerade vor dem Hintergrund knapper werdender Ressourcen an Universitäten ist es sinnvoll, empirische Studien möglichst gut vorzubereiten, anstatt Daten zu erheben, die sich später nicht produktiv nutzen lassen.

In welchen Bereichen haben Sie darüber hinaus Vorteile von Open-Science-Praktiken erlebt?

JL: Ich würde zwei Aspekte hervorheben. Der erste betrifft den praktischen Nutzen von neuen Methoden. Wenn man nicht nur Daten oder Materialien teilt, sondern auch methodische Werkzeuge zugänglich macht, kann das für andere Forschende sehr nützlich sein. In einem unserer Projekte hat ein Co-Autor beispielsweise das R-Paket „imagefluency“ entwickelt und veröffentlicht. Dieses wird inzwischen oft von anderen Gruppen genutzt. Ich sehe das zum Beispiel in meiner Rolle als Reviewer, wenn Manuskripte auf diese Methode Bezug nehmen. Dann merkt man, dass eine Ressource entstanden ist, die tatsächlich in der Forschungspraxis eingesetzt wird.

Der zweite Aspekt betrifft den Nutzen, der entsteht, wenn andere Forschende Open-Science-Praktiken anwenden. Wir führen beispielsweise Replikationsstudien durch. Diese lassen sich deutlich einfacher umsetzen, wenn Originalstudien gut dokumentiert sind und etwa Stimulusmaterial oder Datensätze verfügbar sind. Ähnliches gilt für Metaanalysen. Aktuell arbeiten wir an einer größeren Metaanalyse, und dabei zeigt sich ein bekanntes Problem. Viele Studien berichten ihre Ergebnisse nur unvollständig. Teilweise fehlen bereits grundlegende statistische Angaben, die für eine systematische Auswertung erforderlich wären. Für solche Projekte wäre es sehr hilfreich, wenn mehr Studien ihre Daten, Materialien und Analyseinformationen transparent zugänglich machen würden.

Ein weiterer Bereich ist vielleicht noch die Lehre. Ich lasse Studierende gelegentlich Analysen aus veröffentlichten Studien nachvollziehen. Wenn zu einem Artikel Datensätze und Materialien verfügbar sind, können die Studierenden eigene Auswertungsskripte schreiben und versuchen, die Ergebnisse zu replizieren. Das ist eine sehr anschauliche Möglichkeit, empirische Methoden zu vermitteln.

Sie haben erwähnt, dass Sie relativ viele Replikationsstudien durchführen. Welche Motivation steht dahinter? Geht es vor allem darum, methodisch zu lernen, oder möchten Sie gezielt prüfen, ob bestimmte Befunde tatsächlich Bestand haben?

JL: Häufig steht tatsächlich die Frage im Mittelpunkt, ob ein bestimmtes Phänomen wirklich existiert oder nicht bzw. unter welchen Voraussetzungen es auftritt. Diese Perspektive ist sicherlich auch durch die Diskussion um die Replikationskrise geprägt worden, die durch das Science Paper von 2015 eine große Aufmerksamkeit erhalten hat. Es gibt Studien, die zeigen, dass erfahrene Forschende oft ein recht gutes Gespür dafür entwickeln, welche Effekte vermutlich replizierbar sind und bei welchen man eher skeptisch sein sollte. Auch mir geht es gelegentlich so, dass ich Ergebnisse lese, bei denen mein erster Eindruck ist, dass der berichtete Effekt möglicherweise nicht besonders robust ist.

Der Hintergrund meiner Motivation ist, dass nicht replizierbare Befunde, die in der Wissenschaft herumgeistern, problematische Folgen haben können. Viele Studierende und Nachwuchswissenschaftler:innen bauen ihre Abschlussarbeiten oder Dissertationen auf bestehenden Studien auf. Wenn sich später zeigt, dass ein zentraler Befund nicht stabil ist, kann ein ganzes Forschungsprogramm ins Wanken geraten.

Wir haben solche Situationen auch selbst erlebt. In einem Projekt wollten wir auf Grundlage etablierter Befunde einen neuen Moderator identifizieren. Die Ausgangsstudien waren in renommierten Fachzeitschriften veröffentlicht worden. Als wir die Experimente möglichst genau replizieren wollten, das heißt mit gleichem Stimulusmaterial, und ähnlichen Stichproben, stellte sich jedoch heraus, dass die Hälfte der etablierten Phänomene, die wir nutzen wollten, nicht replizierten. Damit wurde auch die Suche nach moderierenden Bedingungen hinfällig, weil bereits der Basiseffekt nicht zuverlässig auftrat.

Wenn man Wissenschaft als kumulativen Prozess versteht, ist es daher wichtig zu klären, welche Phänomene tatsächlich robust sind und auf welchen Befunden sich weitere Forschung sinnvoll aufbauen lässt. In diesem Sinne haben Replikationsstudien aus meiner Sicht eine zentrale Funktion. Eine andere Frage ist allerdings, wie stark solche Arbeiten im Publikationssystem honoriert werden und wie Journals damit umgehen.

Was passiert, wenn Sie eine Studie aus einer Top-Zeitschrift nicht replizieren können? Gibt es dafür geeignete Publikationsorte?

JL: Die Möglichkeiten sind begrenzt und haben sich im Laufe der Zeit auch verändert. Es gab etwa bei der Top-Zeitschrift International Journal of Research in Marketing zeitweise eine eigene Rubrik für Replikationsstudien. Diese wurde später in das weniger renommierte Journal of Marketing Behavior ausgelagert. Dieses Journal wurde inzwischen jedoch vollständig eingestellt und existiert nicht mehr. Aktuell gibt noch eine entsprechende Möglichkeit in Marketing Letters, wo wir auch schon eine Replikationsstudie publizieren konnten. Das ist eine angesehene internationale Zeitschrift, aber keine der zentralen Top-Journals des Fachs. Mein Eindruck ist, dass die Top-Zeitschriften für solche Arbeiten nur begrenzt offen sind. In vielen Editorial Policies wird stark betont, dass Beiträge innovativ und neuartig sein sollen. Der Befund, dass ein publiziertes Ergebnis sich nicht replizieren lässt, wird dabei häufig nicht als bedeutsamer wissenschaftlicher Beitrag betrachtet. Das halte ich für problematisch.

Ein Kollege hat mir beispielsweise einmal von seiner Forschung dazu berichtet, ob bestimmte sprachliche Muster in Abstracts mit Replizierbarkeit zusammenhängen. Sein Ergebnis war, dass der Begriff „kontraintuitiv“ ein relativ guter Prädiktor dafür ist, dass ein Befund später schwer zu replizieren ist. Interessanterweise ließ sich diese Analyse nicht in einer führenden Zeitschrift veröffentlichen, weil mehrere Editor:innen signalisierten, dass sie daran kein Interesse hätten. Das verweist auf ein strukturelles Problem. Wenn Journals vor allem überraschende und besonders innovative Ergebnisse suchen, entsteht ein Anreizsystem, das genau solche Befunde begünstigt. Gleichzeitig steigt damit aber auch die Wahrscheinlichkeit, dass einige dieser Ergebnisse sich später als weniger robust erweisen.

Aber wäre es nicht gerade besonders relevant und auch spannend, wenn sich ein viel zitierter Befund im Nachhinein als nicht replizierbar erweist? Wenn viele Studien auf grundlegenden Publikationen aufbauen, hätte eine solche Erkenntnis doch einen erheblichen Neuigkeitswert.

JL: In bestimmten Fällen funktioniert das tatsächlich. Wenn es um sehr grundlegende Phänomene geht, die häufig zitiert wurden und eine zentrale Rolle im Forschungsfeld spielen, besteht durchaus Interesse an entsprechenden Replikationsstudien. Schwieriger wird es bei einzelnen kleineren Befunden, die zwar publiziert sind, aber nicht als zentral für das Feld gelten. Häufig erhält man die Rückmeldung, dass der verfügbare Journal Space begrenzt sei und eine Replikationsstudie besonders gut begründet werden müsse, um diesen Platz zu rechtfertigen.

Wenn ich Sie richtig verstehe, treffen hier zwei Entwicklungen aufeinander. Einerseits werden die untersuchten Effekte immer spezieller und kleinteiliger, weil das Publikationssystem stark auf Neuheit ausgerichtet ist. Andererseits gelten einzelne nicht replizierte Befunde genau dann oft als zu unbedeutend, um eine eigene Veröffentlichung zu rechtfertigen. Verstärken sich diese Dynamiken nicht gegenseitig? Und welche Möglichkeiten sehen Sie, daran etwas zu verändern?

JL: Der Punkt, den Sie ansprechen, trifft aus meiner Sicht ein zentrales Problem. In vielen Bereichen sieht man tatsächlich eine zunehmende Fokussierung auf sehr spezifische Effekte. Ein Grund dafür ist, dass viele grundlegende Phänomene und Theorien bereits relativ gut untersucht sind. Ein klassisches Beispiel aus der Psychologie ist die Theorie der kognitiven Dissonanz aus den 1950er-Jahren. Diese Theorie ist empirisch sehr gut belegt und erklärt viele Beobachtungen menschlichen Verhaltens. Wenn eine Disziplin über solche etablierten theoretischen Grundlagen verfügt, wird es schwieriger, wirklich neue und grundlegende Erkenntnisse zu generieren.

Unter den Bedingungen eines Publikationssystems, das stark auf Neuheit und Innovation ausgerichtet ist, führt das häufig dazu, dass Forschung immer stärker ins Detail gehen muss. Es entstehen experimentelle Designs, die sehr spezifische Effekte unter bestimmten Bedingungen untersuchen, etwa nur in Kombination mehrerer moderierender Faktoren. Solche Studien können methodisch durchaus sauber sein, aber die Effekte sind häufig sehr klein und haben nur eine begrenzte praktische Relevanz.

Gleichzeitig wird der wissenschaftliche Wert von Robustheitsprüfungen oder Replikationsstudien oft geringer eingeschätzt als der vermeintliche Neuheitswert solcher Detailbefunde. Darin sehe ich eine gewisse Schieflage. Aus einer übergeordneten Perspektive wäre es ebenso wichtig zu klären, welche Phänomene tatsächlich robust sind und auf welchen Befunden sich weitere Forschung sinnvoll aufbauen lässt.

Dass der Erkenntnisgewinn eines neuen, sehr spezifischen Effekts häufig höher bewertet wird als der Nachweis der Robustheit eines bestehenden Befunds, halte ich daher für eine strukturelle Herausforderung im aktuellen Publikationssystem.

Wie reagiert Ihre Fachcommunity auf Ihre Metastudien? Führen sie zu Diskussionen, etwa auf Konferenzen wie der VHB-Tagung?

JL: Ich habe den Eindruck, dass diese Themen inzwischen durchaus stärker diskutiert werden, auch auf Konferenzen. Das ist für mich ein positives Signal für die BWL und das Marketing als Subdisziplin. Es gibt innerhalb der Community unterschiedliche Positionen, aber auch viele Forschende, die sich intensiv mit Fragen der Forschungsqualität und methodischen Transparenz beschäftigen. Ein wichtiger Punkt ist dabei, dass die Open-Science-Debatte lange stark von experimenteller Forschung geprägt war. In der BWL arbeiten jedoch viele Forschende mit Beobachtungsdaten. Diese Datensätze haben einen hohen wissenschaftlichen Wert, stellen aber besondere Herausforderungen für Open-Science-Praktiken dar. Präregistrierungen sind dort schwieriger umzusetzen, weil Analyseentscheidungen oft erst im Verlauf der Datenarbeit getroffen werden können. Es gibt erste Ansätze, wie man mit diesen Herausforderungen umgehen könnte. Insgesamt steht die Diskussion in diesem Bereich jedoch noch am Anfang.

Wenn es in der Community unterschiedliche Positionen gibt – einige treiben Open Science aktiv voran, andere sind zurückhaltender –, gibt es Orte, an denen diese Perspektiven tatsächlich aufeinandertreffen und diskutiert werden?

JL: Der Austausch findet natürlich grundsätzlich auf Konferenzen statt. Gleichzeitig gibt es Situationen, in denen man merkt, dass diese Diskussionen stärker zusammengeführt werden könnten. Ein Beispiel ist eine Konferenz der Association for Consumer Research im Jahr 2024 in Paris. Dort gab es zwei parallele Sessions, eine unter dem Titel „Meet the Editors“ und eine zum Thema Open Science. Beide liefen zur gleichen Zeit. Aus meiner Sicht war das eine verpasste Gelegenheit. Wenn man diese Formate zusammengeführt hätte, wären zwei Gruppen ins Gespräch gekommen, auf der einen Seite Forschende, die sich intensiv mit Fragen der Forschungsqualität und mit Open-Science-Praktiken beschäftigen, und auf der anderen Seite Editor:innen, die durch ihre Entscheidungen erheblichen Einfluss auf Publikationsstandards haben.

Sind die unterschiedliche Positionen vor allem eine Generationenfrage? Oder woran liegt es, dass ein Teil der Community Open Science aktiv unterstützt, während andere eher zurückhaltend sind?

JL: Ein Generationenaspekt spielt sicherlich eine Rolle. Viele jüngere Wissenschaftler:innen sind bereits mit diesen Debatten ausgebildet worden und betrachten Transparenzpraktiken eher als selbstverständlichen Teil wissenschaftlicher Arbeit. Gleichzeitig kann ich auch nachvollziehen, dass Forschende, die über viele Jahre unter anderen Rahmenbedingungen gearbeitet haben, zunächst zurückhaltend reagieren. Wenn sich die Spielregeln im Laufe der eigenen Karriere verändern, ist eine gewisse Skepsis verständlich. Hinzu kommt, dass Open-Science-Praktiken tatsächlich zusätzlichen Aufwand bedeuten können. Präregistrierungen, Dokumentation von Analysen oder das Aufbereiten von Datensätzen erfordern Zeit und Sorgfalt. Gleichzeitig machen sie bestimmte Vorgehensweisen schwieriger, die früher verbreitet waren, etwa viele Studien durchzuführen und im Nachhinein diejenigen Ergebnisse auszuwählen, die statistisch signifikant ausfallen. Heute sind die Anforderungen in einigen Bereichen bereits deutlich strenger. In der Psychologie etwa prüfen Journals sehr genau, ob bestimmte Transparenzstandards eingehalten werden. Das kann im Publikationsprozess zusätzlichen Aufwand bedeuten, etwa wenn neue Richtlinien eingeführt werden, während ein Manuskript bereits in Vorbereitung ist. Ich halte diese Entwicklung dennoch für sinnvoll. Aber es ist nachvollziehbar, dass sich nicht alle Forschenden gleichermaßen schnell an neue Regeln anpassen.

Ich sehe einige Parallelen zwischen der BWL und der Psychologie. In der Psychologie hat die Replikationsdebatte zeitweise sogar dazu geführt, dass die Disziplin selbst infrage gestellt wurde. Zumindest innerhalb der Wissenschaft. Gleichzeitig gibt es auch in der BWL seit Langem Diskussionen darüber, wie stark das Fach wissenschaftlich anerkannt ist. Immer wieder wird gefragt, ob die BWL den gleichen wissenschaftlichen Status hat wie andere Disziplinen oder ob sie vor allem wegen der hohen Studierendenzahlen strategisch an Universitäten präsent ist. Vor diesem Hintergrund frage ich mich, könnte der Fokus auf Reproduzierbarkeit und Nachvollziehbarkeit, etwa im Sinne von Open Science, nicht auch dazu beitragen, die wissenschaftliche Position der BWL im Wissenschaftsökosystem zu stärken? Oder sind das eher Überlegungen von außen?

JL: Ich halte diesen Gedanken für plausibel. Meine Wahrnehmung ist, dass sich die BWL in den vergangenen Jahren ohnehin stark in eine verhaltenswissenschaftliche Richtung entwickelt hat. Wir sehen einen Trend der Behavioralisierung, und das nicht nur im Marketing. Es gibt inzwischen etwa auch Behavioral Accounting oder Behavioral Finance. Viele dieser Bereiche arbeiten mit Methoden, die ursprünglich aus der Psychologie stammen, etwa Verhaltensexperimente und die Untersuchung von zugrunde liegenden psychologischen Mechanismen. In diesem Sinne bewegt sich ein großer Teil der BWL heute im weiteren Feld der Sozial- und Verhaltenswissenschaften. Und ich habe den Eindruck, dass sich in vielen Teildisziplinen in den letzten zehn bis fünfzehn Jahren auch der wissenschaftliche Anspruch deutlich weiterentwickelt hat.

Vor diesem Hintergrund stimme ich Ihnen zu. Ein stärkeres Engagement für transparente und nachvollziehbare Forschungspraktiken – wie sie im Rahmen von Open Science diskutiert werden – könnte dazu beitragen, die wissenschaftliche Position der BWL weiter zu stärken. Es würde deutlicher machen, dass das Fach systematisch zu belastbaren wissenschaftlichen Erkenntnissen beiträgt und deshalb einen festen Platz an Universitäten hat.

Sie haben vorhin von einigen Pionieren in der Marketing-Forschung gesprochen. Wer fällt Ihnen in diesem Zusammenhang ein, speziell im Bereich Open Science?

JL: Ein Name, der mir sofort einfällt, ist Uri Simonsohn. Er hat unter anderem das Konzept der Specification Curve Analysis entwickelt, das ich für einen sehr interessanten Ansatz halte, gerade auch im Umgang mit Beobachtungsdaten. Die Grundidee ist, dass man systematisch offenlegt, welche Analyseentscheidungen Forschende treffen können. Zum Beispiel: Werden Ausreißer ausgeschlossen oder nicht? Wird die abhängige Variable transformiert oder nicht? Welche Kontrollvariablen werden berücksichtigt? Jede dieser Entscheidungen kann in der Praxis unterschiedlich ausfallen.

Die Specification Curve Analysis macht diesen Entscheidungsraum explizit. Man definiert zunächst alle analytischen Varianten, die methodisch sinnvoll erscheinen, und führt anschließend sämtliche entsprechenden Analysen durch. Dadurch entstehen schnell sehr viele mögliche Auswertungen, oft mehrere hundert oder sogar tausend Kombinationen. Anschließend wird ausgewertet, wie sich die Ergebnisse über diese verschiedenen Spezifikationen hinweg verhalten. Wie häufig tritt ein signifikanter Effekt in der erwarteten Richtung auf? In wie vielen Fällen zeigt sich kein Effekt oder sogar ein gegenteiliger Befund?

Ich halte diesen Ansatz für sehr wertvoll, weil er Transparenz darüber schafft, welchen Einfluss analytische Entscheidungen auf das Ergebnis haben. Gerade bei Beobachtungsdaten, bei denen es viele mögliche Analysewege gibt, kann das einen wichtigen Beitrag zur wissenschaftlichen Nachvollziehbarkeit leisten. Forschende können weiterhin argumentieren, welche Spezifikation sie für besonders plausibel halten. Aber gleichzeitig wird sichtbar, unter welchen Bedingungen ein Ergebnis stabil ist und unter welchen nicht. Uri Simonsohn gehört außerdem zu den Autor:innen des Blogs Data Colada, der sich regelmäßig mit Fragen wissenschaftlicher Methodik und Forschungsintegrität beschäftigt. Neben Uri Simonsohn sind daran auch Leif Nelson und Joe Simmons beteiligt. Auf diesem Blog schreiben sie regelmäßig über Fragen der Robustheit und Replizierbarkeit wissenschaftlicher Studien. Bekannt wurde der Blog unter anderem im Zusammenhang mit dem Fall Francesca Gino. Das Team hinter Data Colada hatte Unregelmäßigkeiten in mehreren ihrer Datensätze analysiert und veröffentlicht. In der Folge wurde Gino der Datenmanipulation beschuldigt. Sie reagierte darauf mit einer Klage gegen die Autoren des Blogs.

Welche Bedeutung hat dieser Fall um Gino aus Ihrer Sicht für die Open-Science-Debatte?

JL: Der Fall berührt eine grundlegende Frage. Wenn jemand dagegen klagt, dass eigene Befunde überprüft werden, stellt sich zwangsläufig die Frage, wie offen wissenschaftliche Debatten geführt werden können. Die Klage wurde am Ende nicht zugelassen und abgewiesen, aber die Diskussion, die sie ausgelöst hat, bleibt relevant.

Was mich an Uri Simonsohn in diesem Zusammenhang beeindruckt: Er hat nicht nur Rückgrat gezeigt, sondern mit der Specification Curve Analysis auch einen konstruktiven methodischen Beitrag geleistet. Darum geht es in der Open-Science-Debatte. Es geht nicht primär darum, anderen das Leben schwer zu machen, sondern praktikable Lösungen für bessere Forschung anzubieten. Für Studien mit Beobachtungsdaten etwa ließe sich eine solche Analyse als systematische Robustheitsprüfung in den Online-Anhang aufnehmen. Das schafft Transparenz darüber, wie stabil ein Ergebnis über verschiedene analytische Entscheidungen hinweg ist, deutlich mehr als die selektiven Robustheitschecks, die man bislang häufig sieht.

Was würden Sie Ihren Doktorand:innen oder generell Nachwuchswissenschaftler:innen mitgeben? Was sind aus Ihrer Sicht die wichtigsten Gründe, sich auf Open-Science-Praktiken einzulassen?

JL: Ein verbreitetes Missverständnis ist zunächst, dass Open Science bedeute, nur noch konfirmatorisch arbeiten zu dürfen und sich strikt an das zu halten, was einmal präregistriert wurde. Das stimmt so nicht. Der zentrale Gedanke ist vielmehr Transparenz – klar zu unterscheiden und offen zu dokumentieren, was explorativ und was konfirmatorisch angelegt ist. Dazu gehört auch, dass man von einer Präregistrierung abweichen darf, solange man diese Abweichung nachvollziehbar dokumentiert. In der Psychologie gibt es Editor:innen, die ausdrücklich würdigen, wenn Studien transparent berichtet werden, auch dann, wenn sie Nulleffekte enthalten. Transparenz kann also durchaus ein Argument für die Annahme eines Papers sein, wenn Reviewer und Editor:innen hierfür offen sind.

Ein weiterer wichtiger Punkt betrifft die Fehlerkultur. Fehler sind im Forschungsprozess unvermeidlich, aber etwas grundlegend anderes als absichtliche Datenfälschung. Wenn Open-Science-Praktiken unbeabsichtigte Fehler sichtbar machen, sollte das nicht als Skandal gelten, sondern als Chance zur Korrektur. Gerade Nachwuchswissenschaftler:innen in Tenure-Track-Systemen stehen unter großem Druck. Open Science Praktiken wie z.B. Pre-Prints und frei zugängliche Daten können helfen, Fehler frühzeitig zu erkennen, ohne dass daraus ein Reputationsproblem entsteht.

Letztlich ist Open Science für mich ein Signal der Zusammenarbeit. Wissenschaft ist ein kumulativer Prozess. Jede Studie liefert einen kleinen Baustein, der erst im Zusammenspiel mit anderen Bedeutung gewinnt. Wer zeigt, wie er gearbeitet hat, ermöglicht es anderen, daran anzuknüpfen und die gemeinsame Wissensbasis zu stärken.

Vielen Dank!

Das Interview wurde am 19. Februar 2026 geführt von Dr. Doreen Siegfried.

Über Prof. Dr. Jan Landwehr:

Jan R. Landwehr ist seit 2012 Professor für Betriebswirtschaftslehre mit Schwerpunkt Marketing an der Goethe-Universität Frankfurt und leitet dort die Professur für Markt- und Konsumentenpsychologie. Seit 2015 ist er zudem akademischer Direktor der Master-Programme in BWL und Management Science. Prof. Landwehr verfolgt als Psychologe und Wirtschaftswissenschaftler einen interdisziplinären Forschungsansatz und konnte seine Forschungsergebnisse in weltweit führenden Fachzeitschriften des Marketings und der Sozialpsychologie publizieren. Zudem ist Professor Landwehr als engagierter Dozent bekannt. Seine Lehrveranstaltungen wurden an der Goethe-Universität bereits mit 21 Best Teaching Awards des Fachbereichs Wirtschaftswissenschaften ausgezeichnet.

Kontakt: https://www.marketing.uni-frankfurt.de/professoren/landwehr/prof-dr-jan-landwehr.html

ORCID.ID: 0000-0001-5433-8865

ResearchGate: https://www.researchgate.net/profile/Jan-Landwehr

Zurück zum Open-Science-Magazin