Proprietäre Daten brauchen abgestufte Transparenz

Joachim Hüffmeier über seine Open-Science-Erfahrungen

Viele Forschende in der BWL arbeiten mit proprietären Unternehmensdaten und unterzeichnen Vertraulichkeitsvereinbarungen. Dahinter steht oft die Sorge der Unternehmen, dass sich trotz Anonymisierung Rückschlüsse darauf ziehen lassen, um welche Organisation es geht. Was entgegnen Sie, wenn Sie in solche Diskussionen geraten?

JH: Wenn eine solche Vereinbarung bereits unterschrieben ist, wird es tatsächlich schwierig, vor allem, wenn die Vertraulichkeitsanforderungen vom Unternehmen ausgehen. Ich beobachte aber auch, dass viele Kolleg:innen sehr bereitwillig und sehr früh selbst mit solchen Vereinbarungen arbeiten. Genau darin sehe ich eine Stellschraube.

Wenn man externen Partnern gut erklärt, welchen Wert ausreichend anonymisierte und geteilte Daten haben, ist meiner Erfahrung nach häufig mehr möglich, als zunächst angenommen wird. Viele Unternehmen sind durchaus bereit, einer Datenteilung zuzustimmen, wenn klar ist, dass sensible Informationen geschützt bleiben.

Ein weiterer Punkt ist, dass Daten ja nicht immer vollständig geteilt werden müssen. Man kann auch nur Teile eines Datensatzes zugänglich machen. Informationen, die eine Deanonymisierung einzelner Proband:innen, Organisationen oder Unternehmen ermöglichen würden, müssen nicht veröffentlicht werden. Niemand zwingt Forschende, solche Angaben offenzulegen. Es handelt sich also nicht um eine Schwarz-Weiß-Frage, sondern um ein Feld mit vielen Abstufungen.

Und selbst wenn eine direkte Weitergabe der Originaldaten nicht möglich ist, gibt es inzwischen Alternativen, etwa die Erstellung synthetischer Daten. Damit können Datensätze zumindest in einer Form bereitgestellt werden, die eine Weiterverwendung ermöglicht, ohne sensible Informationen offenzulegen. Wenn man sich die Literatur anschaut, besteht längst nicht jede Publikation in diesem Bereich ausschließlich aus sensiblen Unternehmensdaten. Es gibt also durchaus Spielräume, Open-Science-Praktiken auch in der BWL stärker umzusetzen.

Wenn ich Sie richtig verstehe, geht es also auch um Routinen und Anreize im Wissenschaftssystem. Würden Sie sagen, dass die Veröffentlichung von Forschungsdaten zunächst der Regelfall sein sollte und erst dann müsste begründet werden, wo tatsächlich Einschränkungen nötig sind?

JH: Genau. Dabei möchte ich niemandem individuell einen Vorwurf machen. Das ist bislang auch nicht gut geregelt. Forschungsdaten so aufzubereiten, dass sie für andere nachvollziehbar und weiter nutzbar sind, bedeutet erheblichen Zeitaufwand. Dieser Aufwand zahlt sich im bestehenden System aber oft nicht unmittelbar aus. Das unterscheidet sich zum Beispiel von einem Drittmittelantrag. Dort ist klar, wofür der Aufwand betrieben wird und wie er in der wissenschaftlichen Laufbahn zählt. Die Aufbereitung und Bereitstellung von Daten hat dagegen häufig den Charakter freiwilligen Engagements. Das ist aus meiner Sicht problematisch. Wenn wir als Wissenschaftssystem wirklich überprüfbare und verifizierbare Forschungsbefunde wollen, müssen wir auch die Voraussetzungen dafür schaffen. Dazu gehört, dass Datenteilung nicht allein vom persönlichen Einsatz einzelner Forschender abhängt, sondern institutionell unterstützt und anerkannt wird. Das System muss deutlich machen, dass diese Arbeit gewollt ist und entsprechend anerkannt wird.

Haben Sie selbst schon erlebt, dass Ihnen das Teilen Ihrer Daten wissenschaftlich genutzt hat?

JH: Ja, es gab einen Effekt, der für mich sehr wertvoll war. Wir haben Daten geteilt, und diese Daten wurden im Review-Verfahren tatsächlich aufgegriffen und genutzt, um unsere Analysen zu überprüfen. Ein Gutachter hat geschrieben, er habe unsere Berechnungen nachvollzogen und könne unsere Ergebnisse bestätigen. Außerdem habe er in den Daten noch einen weiteren interessanten Befund gesehen und angeregt, ob wir diesen nicht ebenfalls berichten wollten. Da hat sich also jemand wirklich die Mühe gemacht, unsere Daten noch einmal zu prüfen. Für uns war das eine zusätzliche Qualitätssicherung. Jemand von außen konnte nachvollziehen, dass er mit denselben Daten zu denselben Ergebnissen kommt. Zugleich hat dieser Blick von außen dazu beigetragen, unsere Befunde um einen weiteren Aspekt zu ergänzen. Allein das zeigt aus meiner Sicht, wie Forschung durch Datenteilung vorankommen kann. Man gewinnt eine zusätzliche Prüfschleife und kann die eigenen Ergebnisse unter Umständen inhaltlich weiter anreichern.

Sie haben selbst zu Open-Science-Praktiken in der Arbeits- und Organisationspsychologie und im Management geforscht. Was sind aus Ihrer Sicht bislang die wichtigsten Befunde?

JH: Wir haben vor allem untersucht, wo die Fächer bei Offenheit und Transparenz derzeit stehen und warum Open-Science-Praktiken nicht schneller umgesetzt werden. Bei Herausgeber:innen sehen wir häufig, dass Verantwortung weitergegeben wird. Manche sagen, dass sie es als Herausgeber:in gar nicht entscheiden können und verweisen auf den Verlag und die Verlagspolicy. Ein zweites Muster ist die Orientierung an den renommierten Top-Journals. Gerade Herausgeber:innen weniger einflussreicher Zeitschriften sagen oft: „Wir sollten nicht die Ersten sein. Wenn die führenden Journals im Feld Open-Science-Praktiken stärker verankern, dann ziehen wir nach.“ Diese Journals setzen aus ihrer Sicht die Regeln im Feld. Das finde ich spannend, weil es einen potenziellen Hebel zeigt.

Hinzu kommt die Sorge, Open Science passe nicht zu allen Forschungsansätzen. Das wird besonders mit Blick auf qualitative Forschung genannt. Da zeigt sich allerdings häufig noch ein Informationsdefizit. Denn es gibt durchaus Open-Science-Praktiken für qualitative Forschung, etwa Präregistrierungsvorlagen, die gemeinsam mit der qualitativen Forschungscommunity entwickelt wurden. Es ist also bei den Herausgeber:innen eine Mischung aus unklarer Zuständigkeit und der Frage, ob Open-Science-Praktiken tatsächlich zum jeweiligen Forschungsansatz passen.

Bei Forschenden selbst geht es häufiger um andere Vorbehalte. Sorge vor zusätzlicher Bürokratie, vor mehr Arbeitsaufwand oder davor, dass der Forschungsprozess weniger offen und kreativ wird. Manche befürchten auch, dass Fehler leichter nachgewiesen oder Ideen früher sichtbar und dadurch sozusagen „geklaut“ werden könnten. Ein weiterer Punkt ist der Umgang mit eigenen Daten. Wer einen aufwendig erhobenen Datensatz hat, möchte ihn oft zunächst selbst weiter auswerten. Dahinter steht die Sorge, dass man etwas teilt, bevor man den wissenschaftlichen Ertrag daraus vollständig ausgeschöpft hat.

Journals sind wissenschaftlichen Anreizsystem ein wichtiger Hebel. Sehen Sie weitere Ansatzpunkte, etwa in der Ausbildung von Doktorand:innen?

JH: Ich glaube, es sind mehrere Faktoren. Der Punkt mit der Doktorandenausbildung ist wichtig. Viele Doktorand:innen kommen mit großem Idealismus in die Wissenschaft. Sie lassen sich häufig schnell davon überzeugen, dass Open-Science-Praktiken sinnvoll sind. Und sie fordern sie teilweise selbst ein. In manchen Fällen sind sie damit weiter als die älteren Kolleg:innen, die sie betreuen. Das ist sicher ein guter Hebel dafür, dass sich das Feld über Wachstums- oder Evolutionsprozesse verändert. Zugleich fände ich es wichtig, dass möglichst viele verschiedene Akteure zu diesem Wandel beitragen. Die Ausbildung und Arbeitsweise von Doktorand:innen ist ein Ansatzpunkt. Journals sind ein weiterer, sehr wichtiger und einflussreicher Hebel. In gewisser Weise bestimmen sie tatsächlich einen großen Teil unserer wissenschaftlichen Welt. Ein dritter Bereich sind Drittmittelgeber. Mir ist bewusst, dass institutionelle Drittmittelgeber in der BWL und VWL nicht dieselbe Rolle spielen wie in anderen Disziplinen. Aber Förderorganisationen wie die EU, die DFG oder in den USA die National Science Foundation könnten durchaus Standards setzen. Ähnlich wie bei Vorgaben zu Open-Access-Publikationen für Forschungsergebnisse, die mit EU-Mitteln entstanden sind, könnten sie auch Anforderungen an andere Open-Science-Praktiken formulieren. Etwa, dass bestimmte Studien präregistriert werden oder als Registered Reports angelegt sind. Je mehr Akteure hier zusammenwirken, desto eher kann die Veränderung entstehen, die an vielen Stellen nötig ist.

Die verschiedenen Akteure, die Sie genannt haben, bringen unterschiedliche Interessen und Motivationen mit. Muss man diese Interessen stärker aufeinander abstimmen? Oder ist das gar nicht der entscheidende Punkt?

JH: Ich glaube, Steuerung in der Wissenschaft ist ein schwieriges und zugleich heikles Thema. Schwierig, weil es nicht leicht ist, die unterschiedlichen Interessen verschiedener Akteursgruppen miteinander in Einklang zu bringen. Heikel, weil solche Steuerung schnell die Frage berührt, ob dadurch Wissenschaftsfreiheit eingeschränkt wird.

Mit Blick auf den Publikationsmarkt sehe ich allerdings zwei Stellschrauben, die bislang kaum gedreht werden. Die erste betrifft Fachgesellschaften, Universitäten und Universitätsverbünde. Fachgesellschaften könnten sich in vielen Bereichen stärker einbringen. Sie könnten Verantwortung für mehr Journals übernehmen, auch für sichtbarere Zeitschriften, und ihre bisherige Zurückhaltung aufgeben. Ähnliches gilt für Universitäten und Universitätsverbünde. Im Moment überlassen wir das Publikationswesen weitgehend kommerziell motivierten Verlagen. Das halte ich für ein Problem. Fachgesellschaften, Universitäten und Zusammenschlüsse von Universitäten könnten hier stärker in die Bresche springen. Sie könnten Mittel bereitstellen, aktiv investieren, Strukturen schaffen und auch Stellen dafür finanzieren, einen alternativen Publikationsbetrieb aufzubauen.

Derzeit sehe ich auf größerer Ebene allerdings kaum Bewegung in diese Richtung. Es gibt einzelne Ansätze. Journals, die von Wissenschaftler:innen verantwortet und betrieben werden, also „owned by academics and run by academics“ wie beispielsweise die unabhängige Plattform für peer reviews „Peer Community in“ (PCI). Mit Blick auf transparente, robuste, offene und verlässliche Forschung halte ich das für einen sehr sinnvollen Weg. Aber bislang geschieht das eher im Kleinen und versuchsweise. Aus meiner Sicht sprechen wir zu wenig darüber und handeln zu selten entsprechend. Die zweite Stellschraube betrifft die hohen Gebühren, die öffentliche Einrichtungen, Universitäten und Forschungseinrichtungen zahlen und auch bereit sind, zu zahlen, entweder, um Journals abonnieren zu können, oder um Forschungsartikel überhaupt veröffentlichen zu dürfen. Das müsste nicht in diesem Ausmaß so sein. Wenn man sich die Gewinne großer Wissenschaftsverlage wie Sage, Elsevier, Wiley oder Springer Nature anschaut, stellt sich schon die Frage, warum öffentliche Mittel weiterhin in diesem Umfang in solche Geschäftsmodelle fließen sollten.

Im vergangenen Jahr gab es auch das Leopoldina-Papier unter der Federführung von Diethard Tautz. Darin wird ebenfalls dafür plädiert, dass Fachgesellschaften stärker Verantwortung im Publikationssystem übernehmen. Aus den operativen Diskussionen kenne ich aber vor allem die Frage der Finanzierung. Wie kommt man aus den bestehenden Verlagsstrukturen heraus, wie lässt sich ein alternatives System aufbauen, und wer bezahlt das? Wo sehen Sie hier Ansätze?

JH: Das stimmt nur teils. Wenn wir die bestehenden großen Budgets weiter aufrechterhalten, etwa im Rahmen von DEAL oder ähnlichen Vereinbarungen mit den großen Wissenschaftsverlagen, dann können wir nicht parallel dazu ein alternatives Journal-Ökosystem aufbauen. Das ist richtig. Beides gleichzeitig zu finanzieren, wäre unrealistisch.

Auf der anderen Seite gibt es durchaus Beispiele dafür, dass neue Journals gar nicht so teuer sein müssen. Über die oben schon erwähnte PCI-Plattform hinaus möchte ich zwei weitere Beispiele aus meinem unmittelbaren Umfeld nennen. In der Psychologie gibt es das Journal Meta-Psychology. Es nutzt Infrastruktur von der Linnäus Universität in Schweden, die somit ein fortschrittliches Open-Access-Journal mit ermöglicht. Außerdem haben wir mit Kolleg:innen im vergangenen Jahr ein Journal gegründet, das sich ausschließlich mit Replikationsforschung beschäftigt. Dieses Journal wird von der Universitätsbibliothek Münster unterstützt, und zwar nicht mit einem riesigen Betrag, sondern mit einem eher überschaubaren Beitrag.

Deshalb sollte man die Kosten eines alternativen Publikationssystems nicht aus den Gebühren ableiten, die wir heute an große Wissenschaftsverlage zahlen. Das wäre irreführend. Diese Verlage haben hohe Gewinnspannen. Das Hosting eines Journals kostet heute vergleichsweise wenig, und ein großer Teil der wissenschaftlichen Arbeit – etwa Begutachtung und Herausgeberschaft – wird ohnehin meistens unbezahlt geleistet.

Unrealistisch ist es, zwei Publikationsökosysteme dauerhaft parallel zu finanzieren: das bestehende kommerzielle System und zusätzlich ein alternatives, wissenschaftsgetragenes System. Etwas anderes wäre es, wenn man sich einen klaren Übergangszeitraum setzt und sagt, in zwei oder fünf Jahren wollen wir von diesem Modell weg. Dann könnte man die Mittel schrittweise anders einsetzen und gezielt in neue Strukturen investieren.

Wenn man sich von den großen Prestigejournals lösen und stärker in neue, offene Zeitschriften gehen wollte, müsste das international organisiert werden. Wie realistisch ist ein solcher Wandel?

JH: Dafür müssten sich Fachgesellschaften international darauf verständigen, dass sie diesen Weg gehen wollen. Aus heutiger Sicht klingt das sicher utopisch. Aber ich halte es trotzdem für sinnvoll, sich grundsätzlich zu fragen, ob uns diese Triple-A-Journals unterm Strich mehr nutzen oder mehr schaden. Ich bin mir bei dieser Bilanz nicht sicher. Ich publiziere selbst in solchen Journals, wenn ich die Möglichkeit dazu habe. Ich will also gar nicht behaupten, ich sei da konsequenter oder idealistischer als andere. Aber wir sollten uns fragen, ob diese Journals der Wissenschaft wirklich dienen, vor allem in der Bedeutung, die wir ihnen zuschreiben. Wir behandeln Publikationen in solchen Zeitschriften als Ausweis von Status, Reputation und wissenschaftlicher Qualität. Sie werden zu Insignien, die für spätere Karriereentscheidungen eine große Rolle spielen.

Das Problem ist, dass wir dabei mit Proxies für wissenschaftliche Leistung arbeiten. Wenn es um Berufungen geht, werden oft nicht die Arbeiten der Kandidat:innen gelesen. Wenn es um Drittmittelentscheidungen geht, wird ebenfalls häufig nicht im Detail geprüft, was jemand tatsächlich publiziert hat. Stattdessen verlassen wir uns darauf, wo jemand publiziert hat. Das ist der Wissenschaft aus meiner Sicht nicht zuträglich. Hinzu kommt, dass Studien an vielen Stellen zeigen, dass Artikel in Top-Journals nicht zwangsläufig besser sind als solche in weniger renommierten Zeitschriften. Teilweise findet man dort sogar mehr Hinweise auf fragwürdige wissenschaftliche Praktiken. Das heißt, wir schaffen über diese Journals enorme Möglichkeiten, soziales Prestige zu erwerben und setzen zugleich Anreize, sich fragwürdig oder im Extremfall unethisch zu verhalten.

Deshalb lohnt es sich, zumindest darüber nachzudenken, ob wir dieses System wirklich aufrechterhalten wollen. Natürlich endet diese Frage nicht an Landesgrenzen, und sie endet auch nicht an Fächergrenzen. Aber ist das eine gute Art, Wissenschaft zu organisieren, zu publizieren und miteinander zu kommunizieren? Ich bin mir nicht sicher. Und ich glaube, dass wir uns diese Utopie zumindest als gedankliche Möglichkeit erlauben sollten.

Wie lässt sich eine Selbstreflexion des Publikationsverhaltens stärker in die wissenschaftliche Debatte einer Disziplin hineintragen?

JH: Ich glaube, im ersten Schritt müssen wir Problembewusstsein schaffen. Daran fehlt es an vielen Stellen. Was in der BWL bislang fehlt, ist eine systematische Untersuchung der eigenen Forschungspraktiken und insbesondere der Konsequenzen, die diese Praktiken haben. In der Psychologie haben wir inzwischen eine recht gute Vorstellung davon, wie replizierbar Forschung in verschiedenen Teilbereichen ist. Wir wissen besser, welche Forschungspraktiken verwendet werden, welche Folgen sie haben können und was daran problematisch sein kann. In der VWL gibt es eine solche Diskussion ebenfalls. Dort wurden prominente Befunde aus Zeitschriften wie Science, Nature oder PNAS aufgegriffen und daraufhin überprüft, wie gut sie replizierbar sind. Das findet also auf sehr sichtbarer Ebene statt.

In der BWL sehe ich das bislang deutlich weniger. Vor allem hat sich dort das Bewusstsein noch nicht breit durchgesetzt, dass auch der eigene Wissenschaftsbetrieb kritisch geprüft werden muss. Es ist noch nicht selbstverständlich zu fragen: Sind unsere Befunde robust? Sind sie verlässlich? Sind sie methodisch so gut abgesichert, wie sie sein sollten? Der erste Schritt wäre deshalb, diese beiden Planeten zusammenzubringen, die BWL und eine Forschung über die eigenen Forschungspraktiken. Es bräuchte mehr Menschen in der BWL, die ein Interesse daran haben, den Status quo realistisch zu erheben. Meine Vermutung wäre, dass bei einer solchen Bestandsaufnahme eine Reihe von Problemen sichtbar würden. Im zweiten Schritt könnte daraus eine größere Bereitschaft entstehen, diese Probleme zur Kenntnis zu nehmen und konkret anzugehen. Denn es wäre überraschend, wenn ausgerechnet die BWL die einzige Social-Science-Disziplin wäre, die solche Probleme nicht hätte.

Was ist aus Ihrer Sicht der wissenschaftliche Mehrwert von Registered Reports oder Registered Replication Reports?

JH: Ich glaube, dass dieses Format eine große Zukunft hat. Ich möchte es nicht zu positiv zeichnen, denn es bringt durchaus neue Herausforderungen mit sich. Trotzdem halte ich Registered Reports für einen sehr wichtigen Weg. Man kann inzwischen empirisch untersuchen, was dieses Format verändert. Dazu lassen sich Studien vergleichen, die als Registered Reports angelegt wurden, mit Studien, die ähnliche Fragestellungen untersuchen, aber nicht in diesem Format erschienen sind. Dabei zeigt sich, dass in Registered Reports deutlich weniger bestätigte Hypothesen auftauchen. Das ist wissenschaftlich sehr wichtig. Denn dadurch werden auch Ergebnisse publizierbar, die keine Effekte oder Zusammenhänge zeigen. Solche Nullbefunde erscheinen dann in der Literatur und machen sichtbar, dass nicht jede zuvor formulierte Hypothese durch Daten bestätigt wird, weder in Experimenten noch in korrelativen Studien. Die klassische Literatur kann dagegen leicht den Eindruck erzeugen, als würden postulierte Effekte sehr häufig auch tatsächlich gefunden.

Mehrere Studien zeigen, dass die Rate bestätigter Hypothesen bei Registered Reports deutlich sinkt, etwa in den Bereich von 40 bis 50 Prozent. Das spricht dafür, dass dieses Format Publikationsverzerrungen reduziert und ein realistischeres Bild wissenschaftlicher Befunde erzeugt. Ein zweiter Mehrwert liegt in der Qualität der Studien. Bei Registered Reports wird das Forschungsvorhaben sehr früh begutachtet, also bereits im Stadium der Idee und des Studiendesigns. Reviewer können dadurch Feedback geben, bevor Daten erhoben oder ausgewertet werden. Das führt häufig zu besser geplanten und methodisch ausgefeilteren Studien. Der dritte Punkt hängt damit zusammen. Registered Reports reduzieren Anreize für fragwürdige Forschungspraktiken. Wenn eine Studie im Ideenstadium eine „in-principle acceptance“ erhält, wird sie später grundsätzlich publiziert, sofern die Forschenden sich an den vorab festgelegten Forschungsplan halten. Damit sinkt der Druck, Ergebnisse im Nachhinein zu beschönigen oder Analysen so anzupassen, dass sie publizierbarer wirken. Forschung wird ergebnisunabhängiger publizierbar, und dadurch fallen viele Anreize weg, Befunde nachträglich aufzupolieren.

Warum ist Präregistrierung mehr als eine Formalie?

JH: Auch dazu gibt es Studien, die präregistrierte mit nicht präregistrierten Untersuchungen vergleichen. Die Befunde sprechen dafür, dass Präregistrierung mehr ist als ein formaler Zusatz. Ein erster Hinweis kommt aus den Selbstberichten von Forschenden. Viele berichten, dass präregistrierte Forschung im Vergleich zu nicht präregistrierter Forschung besser durchdacht ist. Sie sei systematischer geplant, habe eine höhere Qualität, und es würden weniger Details vergessen. Außerdem zwingt die Präregistrierung Forschende dazu, sich vorab genauer klarzumachen, was ihre theoretische Begründung ist und welche Analysen sie durchführen wollen. Wenn man die Qualität solcher Studien vergleicht, zeigt sich ebenfalls, dass präregistrierte Forschung häufig hochwertiger ist. Das hängt vermutlich damit zusammen, dass sich Forschende vor Beginn der Datenerhebung intensiver mit Fragestellung, Hypothesen, Methodik und Auswertung beschäftigen. Ein dritter Punkt ist, dass sich in präregistrierten Studien weniger Fehler finden als in nicht präregistrierten Studien.

Warum treten bei präregistrierten Studien weniger Fehler auf?

JH: Das haben Forschende vergleichend untersucht. Sie haben Studien, die präregistriert waren, mit Studien verglichen, die nicht präregistriert waren. In diesen Analysen zeigten präregistrierte Studien weniger Fehler. Vermutlich hängt das mit der größeren Planungssorgfalt zusammen. Auch bei präregistrierten Studien finden sich zumindest in einigen Studien weniger bestätigte Hypothesen als bei nicht präregistrierten Studien. Darin zeigt sich eine Parallele zu Registered Reports. Präregistrierung ist also deutlich mehr als eine bürokratische Auflage. Sie verändert, wie Forschung geplant, durchgeführt und später berichtet wird.

Es gibt kritische Stimmen, die sagen, für experimentelle Studien sei Präregistrierung sinnvoll, für explorative Untersuchungen aber ein zu enges Korsett. Was entgegnen Sie darauf?

JH: Ich halte das für ein Missverständnis. Entscheidend ist die Unterscheidung zwischen explorativer und konfirmatorischer Forschung, also zwischen offenen Fragestellungen einerseits und hypothesentestenden Fragestellungen andererseits. Niemand hindert mich daran, eine explorative Studie auch als explorative Studie zu präregistrieren. Ich kann darin festhalten, dass ich bestimmte Fragestellungen offen untersuchen möchte, dass ich verschiedene Auswertungen in Betracht ziehe oder dass ich mir vorbehalte, nur einen Teil davon tatsächlich zu verfolgen. Eine Präregistrierung muss also nicht eng oder starr sein. Sie kann auch offen formuliert sein.

Was sie aber verhindert, ist, dass Forschende interessante Ergebnisse finden und diese im Nachhinein so darstellen, als seien sie von Anfang an hypothesentestend geplant gewesen. Wenn ich eine Studie explorativ und ohne feste Hypothesen präregistriert habe, ist klar, dass spannende Befunde aus dieser Studie zunächst explorativ sind. Wenn ich sie belastbar absichern will, muss ich sie anschließend in einer weiteren Studie konfirmatorisch testen. Nur so kann ich zeigen, dass es sich nicht um Zufallsbefunde handelt oder um Ergebnisse aus sehr umfangreichen „Fischzügen“ in den Daten. Präregistrierung schränkt Kreativität also nicht ein. Sie macht vielmehr die Grenze zwischen explorativer und konfirmatorischer Forschung sichtbarer. Und genau diese Trennung brauchen wir.

Präregistrierungsvorlagen enthalten zudem in der Regel Abschnitte für weitere Fragestellungen oder zusätzliche Analysen. Dort kann ich festhalten, welche Ideen ich außerdem prüfen möchte. Und wenn ich später von der Präregistrierung abweiche, ist auch das möglich. Entscheidend ist nur, dass ich es transparent mache und verdeutliche: „Hier bin ich anders vorgegangen bin als geplant, hier ist eine neue Idee hinzugekommen, hier liegt eine Abweichung von der ursprünglichen Präregistrierung vor.“

Wenn es im Verlauf einer Studie zu Abweichungen von der Präregistrierung kommt, muss ich also nicht zwingend neu präregistrieren, sondern kann diese Abweichungen im Artikel transparent dokumentieren?

JH: Exakt. Und zu diesen Abweichungen würde ich gern noch etwas sagen. Abweichungen sind eher die Regel als die Ausnahme. Auch das ist ein häufiges Missverständnis. Es gibt Studien, die zeigen, dass in etwa 70 Prozent der präregistrierten Untersuchungen Abweichungen von der ursprünglichen Registrierung auftreten. Das betrifft also die absolute Mehrheit dieser Studien. Deshalb muss sich niemand dafür rechtfertigen oder schämen.

Entscheidend ist, dass Abweichungen transparent dokumentiert werden. Wenn klar beschrieben wird, wo und warum man vom ursprünglichen Plan abgewichen ist, ist das nicht problematisch. Problematisch wäre es nur, solche Änderungen nicht kenntlich zu machen.

Wo ziehen Sie die Grenze zwischen einer legitimen Weiterentwicklung der Studie und einer problematischen Abweichung von der Präregistrierung?

JH: Das lässt sich meist gut erkennen, wenn man sich die Abweichung genau ansieht. Unproblematische Abweichungen sind beispielsweise Studien, bei denen Daten über Panel Provider erhoben werden. Dort lässt sich die Zahl der Versuchspersonen in der Regel nicht exakt so steuern, wie sie vorher präregistriert wurde. Das weiß jede:r, die oder der mit solchen Anbietern arbeitet. Kleine Abweichungen bei der Stichprobengröße sind deshalb in der Regel unproblematisch. Ein anderes Beispiel betrifft die Auswertung. Forschende schreiben dann etwa, dass sie anders ausgewertet haben als ursprünglich präregistriert, weil sie im Reviewverfahren darauf hingewiesen wurden, dass es eine angemessenere oder statistisch anerkanntere Methode gibt. Auch das ist unproblematisch, solange es transparent gemacht wird.

Problematisch wird es, wenn nachträglich neue Hypothesen hinzukommen, ohne dass dies kenntlich gemacht wird. Oder wenn eine Hypothese ihre Richtung ändert, wenn also etwa ursprünglich ein negativer Zusammenhang vorhergesagt wurde, später aber ein positiver Zusammenhang als vorhergesagt berichtet wird. Ebenfalls problematisch ist es, wenn vorher registrierte Hypothesen plötzlich weggelassen werden und auch im Online Supplement nicht mehr auftauchen. Kritisch ist auch, wenn Versuchspersonen nachträglich ausgeschlossen werden, ohne dass vorher Kriterien für solche Ausschlüsse festgelegt wurden. Das sind Hinweise auf fragwürdige Forschungspraktiken. Solche Fälle sind nicht gemeint, wenn wir von legitimen und regelmäßig vorkommenden Abweichungen sprechen.

Sie haben auch zur Replizierbarkeit von Forschung und zur Verbreitung selektiver Berichterstattung in der Arbeits- und Organisationspsychologie gearbeitet. Warum ist gerade diese Verbindung so aufschlussreich?

JH: Ich beginne mit einem Befund, der inzwischen gut repliziert ist, insbesondere in der BWL-Forschung. Ich spreche von dem sogenannten Chrysalis-Effekt. Er beschreibt, dass Doktorarbeiten gewissermaßen als „hässliche Raupe“ starten und dann als Journalartikel als „schöner Schmetterling“ erscheinen. Zu beobachten ist hier, dass die Rate bestätigter Hypothesen von der Dissertation zum veröffentlichten Artikel zunimmt. Das ist von verschiedenen Kolleg:innen gut dokumentiert worden. Es ist ein Beispiel für eine Forschungspraxis, die problematisch ist. Nicht signifikante Ergebnisse werden weggelassen, Analysen werden verändert, Ausschlusskriterien werden anders gesetzt. Und plötzlich werden Befunde signifikant. Wir wissen, dass solche Praktiken vorkommen. Es gibt robuste Evidenz aus der BWL und aus anderen Disziplinen, dass fragwürdige Forschungspraktiken existieren. Deshalb müssen wir sie untersuchen und gut dokumentieren. Das gehört zu dem Punkt, den wir vorhin besprochen haben. Problembewusstsein entsteht nicht von allein. Man muss zeigen können, wo es Hinweise darauf gibt, dass Forschung nicht so robust und verlässlich ist, wie sie sein sollte. Deshalb ist es wichtig, abzuschätzen, wie häufig selektiv berichtet wird. Ebenso wichtig ist es, Forschungspraktiken genauer anzusehen, von denen man weiß, dass sie vorkommen, aber noch nicht genau sagen kann, ob sie tatsächlich fragwürdige Praktiken widerspiegeln.

Ich nenne einmal ein Beispiel aus meiner eigenen Arbeit. Mit einer Mitarbeiterin habe ich Abweichungen zwischen Präregistrierungen und den später publizierten Studien in der Arbeits- und Organisationspsychologie untersucht. Dabei zeigte sich, dass Abweichungen völlig normal sind. Rund 70 Prozent der Artikel wichen in irgendeiner Form von der Präregistrierung ab. Gleichzeitig fanden wir aber auch viele nicht berichtete Abweichungen. Sie waren ungefähr so häufig wie die berichteten Abweichungen. Sind diese nicht berichteten Abweichungen nun ein Hinweis auf fragwürdige Forschungspraktiken? Unsere Ergebnisse sprechen dafür, dass das nicht automatisch der Fall ist. Auch die nicht berichteten Abweichungen zwischen Präregistrierung und publizierter Studie hatten in den meisten Fällen keine Hinweise darauf geliefert, dass Forschende fragwürdige Forschungspraktiken angewandt hatten. Mir geht es deshalb nicht darum, pauschal Misstrauen zu erzeugen. Mir geht es darum, besser zu verstehen, was tatsächlich passiert und darüber auskunftsfähig zu werden. Nur dann können wir beurteilen, wo ein Problem vorliegt und wo nicht.

In Ihren Publikationen spielen Multiverse-Analysen eine wichtige Rolle. Sie machen sichtbar, wie stark ein Ergebnis davon abhängt, welche analytischen Entscheidungen Forschende treffen. Was leisten Multiverse-Analysen, was klassische Robustheitschecks nicht leisten?

JH: Multiverse-Analysen lösen sich von der Vorstellung, dass es genau eine richtige Art gibt, eine Forschungsfrage zu untersuchen. In wissenschaftlichen Artikeln erwecken wir häufig den Eindruck, als gebe es für jede Entscheidung genau einen vernünftigen Weg, wie wir einen Prädiktor messen oder manipulieren, wie wir das Kriterium erfassen, welche Messzeitpunkte wir wählen, wie wir mit Ausreißern umgehen oder wie wir unaufmerksame Teilnehmende behandeln. Das stimmt aber oft nicht. Für viele dieser Entscheidungen gibt es nicht nur eine plausible Möglichkeit, sondern mehrere. Manchmal sind es zwei, häufig drei, vier oder fünf. Das gilt auch für Kontrollvariablen. Soll man sie einschließen? Wenn ja, welche? Einzeln oder in Gruppen? Für viele dieser Entscheidungen gibt es keine eindeutige beste Lösung und auch keine allgemein akzeptierte Best Practice. Genau hier setzen Multiverse-Analysen an. Sie sagen, dass es nicht nur eine Spezifikation gibt, also nicht nur ein Universum möglicher Entscheidungen. Es gibt mehrere gleich plausible Universen, sprich ein Multiverse. Alle Varianten, die fachlich gleichermaßen vertretbar sind, werden systematisch berücksichtigt. Der Vorteil ist, dass sichtbar wird, welche Entscheidungen Einfluss auf das Ergebnis haben. Damit leistet eine Multiverse-Analyse zweierlei. Sie zeigt erstens, unter welchen Bedingungen ein Effekt auftritt. Und sie kann zweitens helfen, spätere Unklarheiten und auch Konflikte zu vermeiden, weil viel genauer beschrieben werden kann, unter welchen Bedingungen ein Befund replizierbar ist.

Der Informationsgehalt solcher Studien ist deshalb deutlich höher als bei Studien, die nur eine einzige Spezifikation verwenden oder eine Hauptanalyse durch einige Robustheitschecks ergänzen. Robustheitschecks prüfen meist nur ausgewählte Alternativen. Eine Multiverse-Analyse geht dagegen alle Pfade durch, die als gleichermaßen sinnvoll gelten. Die Originalautor:innen sprechen von „equally sensible“ analytic choices.

Ein Beispiel aus unserer eigenen Forschung. Wir haben untersucht, wie die Erfahrungen von Pendler:innen auf dem Weg zur Arbeit mit ihrem Stresserleben zusammenhängen. Die Idee war, dass nicht nur das Pendeln an sich belastend sein kann, sondern auch die Variabilität und damit Unvorhersagbarkeit der Pendelerfahrung. Wir haben deshalb Unvorhersagbarkeit auf verschiedene Arten gemessen, ebenso das Stresserleben. Außerdem haben wir unterschiedliche Messzeitpunkte berücksichtigt. Unsere Frage war: Verändert sich der Zusammenhang zwischen der Variabilität der Pendelerfahrung und dem erlebten Stress, je nachdem, welche dieser Entscheidungen man trifft?

Eine Multiverse-Analyse erlaubt es, diese möglichen Wege systematisch durchzugehen. Sie zeigt also nicht nur, ob ein Zusammenhang besteht, sondern auch, wie stabil dieser Zusammenhang über unterschiedliche vertretbare analytische Entscheidungen hinweg ist.

Lässt sich der Umgang mit Multiverse-Analysen lernen? Gerade als Doktorand:in ist einem vielleicht noch gar nicht bewusst, dass es bei einer Auswertung mehrere plausible Spezifikationen geben kann.

JH: Ja, das lässt sich lernen. Inzwischen gibt es dafür gute Hilfen und damit meine ich nicht nur unsere eigenen Arbeiten. Wir haben mittlerweile zwei Anleitungen zu Multiverse-Analysen publiziert, eine ausdrücklich für Doktorand:innen in einem deutschsprachigen Journal (s. hier: https://econtent.hogrefe.com/doi/full/10.1026/0932-4089/a000473) und eine weitere in einem internationalen Journal (s. hier: https://psycnet.apa.org/record/2026-10591-001). Darüber hinaus gibt es auch Einführungen von anderen Forschenden, die unterschiedlich stark statistiklastig ausgerichtet sind. Man kann sich dem Thema also auf verschiedenen Niveaus nähern. Außerdem gibt es in R, also in der offen zugänglichen Statistiksoftware, mehrere Pakete, die solche Auswertungen erleichtern. Man muss das Rad also nicht neu erfinden. Wichtig ist vor allem, ein Bewusstsein dafür zu entwickeln, dass analytische Entscheidungen selten alternativlos sind und dass man diese Alternativen systematisch sichtbar machen kann.

Was steckt hinter Ihrer Idee der Replication Marketplaces? Und wie ist bislang die Resonanz darauf?

JH: Die Idee der Replication Marketplaces geht auf eine Studie zurück, die wir durchgeführt haben und die noch nicht publiziert ist. Darin haben wir, wie viele andere auch, festgestellt, dass es viel zu wenige Replikationsstudien gibt. Die Rate solcher Studien ist deutlich zu niedrig, da Replikationsstudien oft schwer zu publizieren sind. Es gibt relativ wenige Ansätze, um dieses Problem zu lösen. Daraus ist die Idee der Replication Marketplaces entstanden. Der Grundgedanke ist, dass erfahrene Forschende in einem Feld oft recht gut einschätzen können, welche Befunde repliziert werden sollten. Sie kennen die Literatur, sie kennen die Methoden, und sie wissen, welche Ergebnisse besonders folgenreich oder besonders unsicher sind. Diese Expertise könnte man systematischer nutzen. Konkret könnten Teile von Herausgeberschaften oder Editorial Boards diese Aufgabe übernehmen. Sie könnten regelmäßig prüfen, welche Beiträge in ihrem Journal gerade angenommen wurden oder erschienen sind, und dann Befunde identifizieren, bei denen eine unabhängige Replikation besonders sinnvoll wäre. Solche Befunde könnten dann für Replikationsstudien ausgeschrieben werden. Der Anreiz für Forschende bestünde darin, dass sie einen Registered Report einreichen könnten. Wenn sie sich an die vorab begutachtete Forschungsplanung halten, wäre die spätere Publikation grundsätzlich zugesichert. Das würde eine zentrale Hürde für Replikationsforschung senken.

Ein weiterer Baustein könnte eine finanzielle Unterstützung sein. Für Journals, die von Fachgesellschaften oder kleineren Communities getragen werden, ist das vermutlich nur begrenzt möglich. Für große Publisher wäre es aber durchaus denkbar, Replikationsstudien zumindest anteilig zu finanzieren. Angesichts der hohen Gewinne der großen Wissenschaftsverlage könnte ein Teil dieser Mittel gezielt in die Qualitätssicherung der Forschung zurückfließen. In diesem Jahr planen wir dazu noch eine Befragungsstudie.

Man könnte die Auswahl für eine Replikation auch als Auszeichnung verstehen. Ein Publisher signalisiert damit, dass eine Studie für das Feld so relevant ist, dass ihre Befunde unabhängig überprüft werden sollten. Für die Autor:innen könnte das Anerkennung bedeuten, und für das Journal wäre es eine zusätzliche Qualitätssicherung über das normale Peer Review hinaus.

JH: Genau. Wenn man so will, wäre das eine zusätzliche Qualitätssicherungsstufe. Es gibt die sogenannte Pottery Barn Rule. Gemeint ist damit, dass Journals freiwillig Verantwortung für jene Befunde übernehmen, die sie als Erste publiziert haben. Wenn also ein Befund erstmals in Journal X erscheint, dann sollte Journal X auch ein Interesse daran haben, dass dieser Befund überprüft und gegebenenfalls repliziert wird. In der Praxis wird das häufig nicht so gelebt. Viele Journals sind an Replikationen der von ihnen publizierten Befunde kaum interessiert. Replication Marketplaces wären hier ein explizites Bekenntnis zu einer Verantwortung für das, was erstmals bei uns erschienen ist.

Lassen Sie uns noch über Fehlannahmen im Kontext von Open Science sprechen. Sie haben über „Urban Legends“ und Missverständnisse geschrieben. Stört Sie vor allem das binäre Denken, also die Vorstellung, Open Science sei entweder gut oder schlecht, ohne Differenzierungen dazwischen?

JH: Ja, Missverständnisse und binäres Denken spielen hier eine große Rolle. Ein Beispiel haben Sie gerade selbst angesprochen, nämlich die Annahme, Open-Science-Praktiken würden explorative Forschung unnötig behindern. Das stört mich tatsächlich, weil ich diese Einschränkung nicht sehe. Ich halte das für ein Missverständnis. Ich kann eine Forschungsarbeit in der Präregistrierung ausdrücklich als explorativ kennzeichnen. Dann habe ich weiterhin die Freiheit, offen zu untersuchen, Fragen zu entwickeln und unterschiedliche Analysen zu verfolgen. Ein weiteres Missverständnis ist die Vorstellung, Open Science sei vor allem ein „Bürokratisierungsmonster“. Auch das halte ich für falsch. Es geht nicht darum, Forschung durch zusätzliche Vorgaben schwerfälliger zu machen. Es geht darum, mehr kognitive Energie in die Planungsphase zu investieren und Forschung von Beginn an sorgfältiger anzulegen. Kreativität wird dadurch nicht verhindert. Im Gegenteil! Ich freue mich über jede kreative Idee in der Forschung. Entscheidend ist für mich nur, dass Forschung zugleich offen, transparent und robust ist.

Von Wissenschaftler:innen würde man genau diese kognitive Energie eigentlich erwarten, dass sie sich vorab Gedanken darüber machen, wie sie vorgehen wollen und was sie tun, wenn ein Befund nicht so ausfällt wie erwartet. Ist das nicht ein Grundbestandteil seriöser Wissenschaft?

JH: Man kann nicht einfach loslaufen, schauen, was die Daten hergeben, und das Ergebnis anschließend so präsentieren, als habe es von Anfang an starke theoretische Vorannahmen gegeben und als sei die Richtung der Untersuchung von Beginn an klar gewesen. Genau dieses Muster hat über Jahrzehnte aber so gelebt worden, und es hat die Wissenschaft in erhebliche Probleme geführt.

Wenn Sie einige Maßnahmen nennen müssten, die in den nächsten fünf Jahren spürbar etwas verändern könnten. Welche wären das?

JH: Das Erste wäre, dass Journals künftig einen Registered-Reports-Track einführen. Es muss nicht jede Studie als Registered Report angelegt sein. Aber jedes Journal sollte diese Möglichkeit anbieten. Das wäre ein wichtiger Schritt. Der zweite Punkt betrifft Daten und Reproduzierbarkeit. Wenn jemand eine Studie publiziert, sollten die zugrunde liegenden Daten und Materialien standardmäßig zugänglich gemacht werden. Ausnahmen müssten gut begründet werden. Nur so können andere nachvollziehen, wie die Ergebnisse zustande gekommen sind. Und drittens müssen wir die Hürden für Replikationsforschung senken und zugleich die Anreize dafür stärken. Replikationen sollten leichter durchführbar, leichter publizierbar und stärker als wissenschaftlicher Beitrag anerkannt werden.

Vielen Dank!

Das Interview wurde geführt am 16. April 2026 von Dr. Doreen Siegfried.

Über Prof. Dr. Joachim Hüffmeier:

Prof. Joachim Hüffmeier ist Inhaber des Lehrstuhls für Sozial-, Arbeits- und Organisationspsychologie an der Technischen Universität Dortmund. In seiner Forschung beschäftigt sich Prof. Hüffmeier schwerpunktmäßig mit Verhandlungen und Konfliktmanagement. Weiterhin untersucht Prof. Dr. Joachim Hüffmeier die Frage, unter welchen Bedingungen und warum die Zusammenarbeit mit anderen gelingen kann, und in welchem Zusammenhang Arbeit und Gesundheit stehen. Ein wesentliches Forschungsthema ist zudem Open Science und die Replizierbarkeit von Forschungsbefunden.

Kontakt: https://ifp.ep.tu-dortmund.de/institut/personen/joachim-hueffmeier/

Zurück zum Open-Science-Magazin