Die BWL braucht eine Diskussion um quantifizierte Unsicherheit

Marko Sarstedt über seine Open-Science-Erfahrungen

Wann sind Sie dem Thema Open Science erstmalig begegnet?

MS: Die ersten Berührungspunkte hatte ich in den ersten Jahren meiner Professur circa 2014/2015, als ich auf die Replikationskrise in der Psychologie aufmerksam wurde. Im Marketing sind wir ja schon sehr dicht an den Methoden der Psychologie dran und ich habe mich gefragt, ob diese Krise nicht auch im Marketing eine Rolle spielen wird. Im Rahmen dieser Diskussion um die Replikationskrise in der Psychologie habe ich erkannt, dass Open Science ein fundamentaler Baustein ist, um die Replizierbarkeit von Studien zunächst einmal zu überprüfen und um dann aber auch langfristig die Validität von Ergebnissen sicherzustellen. Ich denke, wir brauchen in der BWL ein Bewusstsein für einen Paradigmenwechsel in der Forschung, so wie wir den in den Naturwissenschaften schon länger sehen.

Was unterscheidet die Metrologie von der Methodologie? Und welche Prinzipien der Metrologie wollen Sie auf die Sozialwissenschaften übertragen?

MS: Metrologie ist die Wissenschaft der Messung in den Naturwissenschaften, insbesondere in der Physik oder den Ingenieurwissenschaften. Diese Disziplinen setzen sich in ihren Forschungsfragen fast ausschließlich mit direkt beobachtbaren Dingen auseinander, zum Beispiel Temperatur, Gewicht oder Größe. Entsprechende Attribute sind – zumindest prinzipiell – direkt messbar. Alles, was mit Verhaltenswissenschaften zu tun hat, hat natürlich auch Messung als Themenschwerpunkt. Da reden wir aber von der Psychometrie, welche sich mit der Messung der unbeobachtbaren, eher soften Konzepte auseinandersetzt. Hierzu gehören beispielsweise Wahrnehmungen, Einstellungen oder Intentionen. In unserer Forschung versuchen wir, die Prinzipien der Erfassung von Fehlern, die bei einer Messung entstehen können, aus der Physik in die Sozialwissenschaften zu übertragen.

Haben Sie ein Beispiel?

MS: Die Messung des Gewichts eines Objekts hängt nicht nur von der tatsächlichen Masse ab, sondern auch vom geographischen Standort des Messplatzes. Mit zunehmender Höhe über dem Meer nimmt der Luftdruck ab und beeinflusst die Messung. Solche äußeren Faktoren muss ich berücksichtigen. Bei der Messung von Einstellungen ist es ähnlich, allerdings ist hier die Messunsicherheit deutlich schwieriger zu greifen. Einflussfaktoren wie eine verzerrte Stichprobe, die Verwendung bestimmter Fragen oder Antwortkategorien machen jede Messung unsicher. Diese kann aber prinzipiell quantifiziert werden, auch wenn es zweifelsohne eine Mammutaufgabe ist. Wenn man die Messunsicherheit in die Betrachtung einbezieht, wird die Schätzung ungenauer, weil das Intervall, in welches der wahre Wert hineinfällt, in der Regel deutlich breiter wird. Und darin, so glauben wir, liegt eine wesentliche Ursache der Replikationskrise. Das Problem ist, dass Messungen, wie wir sie aktuell durchführen, viel zu optimistisch sind. Wir gehen davon aus, dass eine Messung mit Proband A zum Zeitpunkt X vergleichbar ist mit einer Messung mit Probandin B zum Zeitpunkt Y, ohne jedoch wirklich die unterschiedlichen Kontexte zu berücksichtigen, unter denen die Daten gewonnen wurden.

Würden Sie sagen, in einer idealen Welt braucht es eine Metrologie für Sozialwissenschaften wie die PTB für die Physik?

MS: Ja. Dazu haben wir im Nature Human Behaviour einen Artikel veröffentlicht, in dem wir genau das fordern und notwendige Schritte dokumentieren. Es muss Institute geben, ähnlich den Many Labs, die Replikationen in verschiedenen Kontexten durchführen, mit dem Ziel, Standardmessungen zu entwickeln. Die Forderung gibt es in abgeschwächter Form schon länger, aber es ist bisher noch nichts in diese Richtung passiert. Es wird beispielsweise schon seit einiger Zeit bemängelt, dass die Definitionen von latenten Konzepten unterschiedlich sind oder dass bei jeder Messung eines Konzepts unterschiedliche Items zum Einsatz kommen. Aber was lernen wir daraus? Und wie qualifizieren wir die Unsicherheit, die damit einhergeht?

Wie wird die Idee der Standardmessungen in der Marketingforschung rezipiert?

MS: Es gibt sehr viele Forscher:innen, die das Problem erkannt haben und die übliche Antwort ist: Wir brauchen auf jeden Fall standardisierte Listen, Checklisten für Einreichungen bei Journals wie es bei Nature oder Science der Fall ist. Das ist sicherlich ein wichtiger Aspekt. Aber auch mit Checklisten geht die Unsicherheit nicht weg. Um die Messunsicherheit wirklich in den Griff zu bekommen, müssen wir sie quantifizieren. In Methoden-Journalen kommen wir mit dieser Forderung und den hierfür notwendigen Ansätzen sehr gut an und haben hierzu zuletzt einige Artikel veröffentlicht. In der empirisch-angewandten Forschung wird dies aber noch nicht angenommen. Vielmehr ist hier „business as usual“ angesagt – gefördert werden möglichst spektakuläre und überraschende Ergebnisse. Meines Erachtens brauchen wir genau das Gegenteil, einen Fokus auf Kerneffekte, die sauber repliziert werden. Im Marketing nimmt die Diskussion um Replikationen in Teilen deutlich Fahrt auf, mit teilweise vernichtenden Ergebnissen. Nehmen wir Nudging als populäres Marketingkonzept: Hier kam gerade in einer groß angelegten Replikationsstudie in PNAS heraus, dass der Effekt im Wesentlichen nicht existiert. Es kann nicht so weitergehen, wir müssen uns in unserem Feld auf Fundamentaleffekte rückbesinnen.

Gibt es in der BWL eine junge Avantgarde, die voranschreitet, das Wissenschaftssystem zu revolutionieren?

MS: Der revolutionäre Geist in der BWL ist jetzt nicht wahnsinnig groß ausgeprägt, was per se auch nicht schlimm ist. Viele Forscher:innen haben durchaus erkannt, dass ein Replikationsproblem existiert und erste Entwicklungen sind bereits sichtbar. Es gibt beispielsweise immer mehr Journale, die Analyseskripte anfordern und diese öffentlich verfügbar machen. Ich sehe auch, dass es in Begutachtungsprozessen honoriert wird, wenn man die Daten zum Beispiel gleich bei OSF frei verfügbar macht.

Wie wollen Sie Ihr Engagement im Kontext Metrologie eventuell auf eine höhere Stufe bringen?

MS: Wir arbeiten uns sukzessive voran, indem wir auch Forscher:innen aus anderen Disziplinen involvieren, zum Beispiel Neurowissenschaftler:innen, die beispielsweise in den Kalibrierungsthemen stärker beheimatet sind. Aktuell geht es bei uns darum, Kalibrierungsansätze der Naturwissenschaften in die Sozialwissenschaften zu übersetzen. Es wäre schön, wenn wir am Ende ein Institut etablieren könnten, in dem wir uns dann mit Metrologieforscher:innen diesen Fragen systematisch widmen und wichtige Konzepte der BWL einmal durchdeklinieren könnten.

Gibt es weitere Open-Science-Themen, denen Sie sich in Ihrer Forschung widmen?

MS: In einem anderen Open-Science-Projekt widmet sich unser Team der Frage, wie weit entsprechende Praktiken in bestimmten methodischen Kontexten wie beispielsweise Strukturgleichungsmodellierungen verbreitet sind. Stellen die Autor:innen die Daten zur Verfügung oder reporten sie zumindest Korrelationsmatrizen, welche es ermöglichen, die Ergebnisse zu replizieren? Unsere bisherigen Analysen von einigen hundert Studien liefern eher ernüchternde Ergebnisse.

Was sind relevante Open-Science-Praktiken, die Sie tatsächlich anwenden?

MS: Wenn es die Studien zulassen, dann laden wir alle Daten bei OSF hoch und versuchen die Skripte in Shiny Apps zu gießen. Hierbei handelt es sich um leicht bedienbare R-basierte Programme, mit denen auch jemand, der nicht programmieren kann, unsere Ergebnisse nachvollziehen und erweitern kann. Zudem präregistrieren wir auch unsere Studien, zumindest in der Konsumentenverhaltensforschung. In der methodischen Forschung, in der es meistens um die Entwicklung und Evaluation von Algorithmen geht, bietet sich das natürlich nicht an.

Sie machen Ihre Forschungsergebnisse auch für außerwissenschaftliche Expert:innen zugänglich. Bekamen Sie dadurch schon positive Impulse für die eigene Arbeit?

MS: Open Science bedeutet für meine Arbeit vor allem Kommunikation.

Was bedeutet für Sie und Ihren Alltag Open Science?

MS: Ja, das mache ich schon länger. Ich bin der einzige Wissenschaftler im Vorstand des Deutschen Marketingverbandes und dort für die Wissenschaftskommunikation zuständig. Die Impulse sind extrem vielseitig. Einerseits bekomme ich sehr viel Input bezüglich relevanter Praxisprobleme, die wir in der Wissenschaft aufgreifen können. Gleichzeitig liefere ich Impulse für die Praxis, beispielsweise in Form der Buchreihe Science meets Practice, in der wir versuchen, die oftmals sehr sperrigen Forschungsergebnisse für die Praxis zu übersetzen. Ansonsten werde ich häufig als Interviewpartner angefragt, was für die Sichtbarkeit natürlich auch sehr gut ist.

Sie haben in einem Ihrer Interviews gesagt, dass die Marketingabteilungen in Unternehmen mehr über den Wissenschaftsprozess wissen sollten. Wie kommunizieren Sie den Prozess auf interessante Art?  

MS: Ich versuche, einen möglichst kurzweiligen Einblick in einzelne, aus meiner Sicht praxisrelevante Studien zu geben und hierbei zu untermauern, mit wie viel Akribie bestimmte Effekte isoliert werden. Ich nenne mal ein Beispiel: Vor einigen Jahren haben wir ein Forschungsprojekt zum Einsatz von Düften in Serviceumgebungen durchgeführt, bei dem wir insgesamt vier Experimentalstudien durchgeführt haben, drei davon in Feldumgebungen unter Berücksichtigung von Kontrollgruppen. Da wird dann relativ schnell klar, worin der Unterschied zwischen einer ad hoc-Marktforschung und einer wissenschaftlichen Studie liegt. Um die Zuhörer:innen bei Laune zu halten, muss man die Inhalte natürlich auch etwas unterhaltsam rüberbringen, was an der einen oder anderen Stelle nur mit etwas Pragmatismus geht. Aber das kann man erlernen, beispielsweise durch die Teilnahme an Science Slams.

Wie wichtig ist Ihnen Open Access?

MS: Tatsächlich ist das bei uns ein Kriterium bei der Auswahl der Zieljournale. Der Artikel muss natürlich thematisch zum Journal passen, aber bei ansonsten gleichem Fit schicken wir den Artikel eher dorthin, wo Leser:innen frei auf ihn zugreifen können – wenn der Artikel denn angenommen wird. Das DEAL-Agreement war da ein wichtiger Faktor, da plötzlich eine Reihe von Journalen Open Access wurden, ohne Zusatzgebühr. Meine Zahlungsbereitschaft für Open-Access-Publikationen ist gelinde gesagt sehr überschaubar. Die Verlage verdienen schon genug an uns.

Schauen Sie auch, dass Sie eher zu sogenannten Scholar-Led-Journals gehen?

MS: Ja, allerdings kann ich mir das als verbeamteter Professor auch leisten. Viele der Nachwuchswissenschaftler:innen haben diesen Luxus nicht, und ich kann daher auch nachvollziehen, warum sie es anders machen. Wenn wir mehrere Journale zur Wahl haben und darunter ist ein nicht so hoch geranktes, das allerdings aufgrund DEAL-Agreements Open Access ist, dann schicken wir den Artikel dorthin.

Haben Sie Tipps für Jungwissenschaftler:innen, wie sie in das Thema Open Science einsteigen können?

MS: Ich würde den meisten Betriebswirt:inneneine gewisse Affinität zur Psychologie unterstellen. Daher wäre mein Tipp, sich die Diskussion und die Editorial Practices dort mal anzuschauen. Mein zweiter Tipp wäre, sich mit OSF und GitHub zu beschäftigen. Das sind aus meiner Sicht auch die zentralen Ankerpunkte für Open Science in der BWL. Am Ende des Tages ist das Kernelement von Open Science die Bereitstellung der Daten und des Analysecodes und den gesamten Forschungsprozess transparent zu machen.

Ist der Begriff Open Science geläufig in der BWL?

MS: Ich kann nicht für die ganze BWL sprechen, aber in meinem Netzwerk ist es schon ein Begriff und wird auch immer mehr gelebt.

Was ist für Sie der größte Mehrwert im Kontext Open Science?

MS: Als Wissenschaftler sind wir in einer privilegierten Position, wir können in Bereichen forschen, die uns interessieren, und wir werden von der Allgemeinheit dafür bezahlt. Die Allgemeinheit hat daher auch ein Recht darauf, informiert zu werden, was wir da eigentlich treiben. Und Open Science schafft eben diese Transparenz und damit auch eine gewisse Legitimität für das, was wir tun. Gleichzeitig hat Open Access für mich viele positive Effekte, beispielsweise mit Blick auf die Zitationszahlen, die bei entsprechenden Artikeln deutlich höher sind. Zudem hat Open Access einen wichtigen ideellen Wert, indem Wissenschaftler:innen von weniger gut ausgestatteten Hochschulen oder aus anderen Ländern, in denen die Zugänge deutlich restringierter sind, am Wissenschaftsbetrieb teilhaben können.

Wie könnte es gelingen, noch mehr Betriebswirt:innen vom Thema Open Science zu überzeugen?

MS: Da sehe ich uns seniorere Forscher:innen in der Verantwortung, Open-Science-Aspekte in die Doktorandenprogramme reinzutragen und damit zu einem integralen Bestandteil der Doktorandenausbildung zu machen. Ich kenne aber noch keine Initiative zur Etablierung eines dezidierten Open-Science-Kurses in einem Doktorandenprogramm. So etwas braucht es aus meiner Sicht. Was ist p-Hacking, was ist HARKing und wie kann man entsprechende Manipulationen identifizieren? Welchen Beitrag leistet hierbei Open Science? Solche Themen gehören in ein gutes Doktorandenprogramm. Es ist auch sehr wichtig, zu erklären, warum bestimmte Praktiken problematisch sind, denn ich beobachte, dass einige Forscher:innen kein Problembewusstsein in diesem Kontext haben.

Es gibt über Deutschland verteilt viele Leute, die Doktorandenprogramme oder Summer Schools etc. aufsetzen, aber jeder nur für sich an seiner eigenen Einrichtung. Sind Sie da vernetzt?

MS: Die Open-Science-Initiative der LMU macht genau das unter Einbeziehung diverser Institute und Lehrstühle. Im LMU Open Science Center werden regelmäßig Vorträge und Workshops zu Open Science-Themen angeboten. Explizit bezogen aufs Marketing ist mir keine deutschlandweite Initiative bekannt, die konkret Open Science angeht – leider.

Vielen Dank!

Das Interview wurde am 14. November 2022 geführt von Dr. Doreen Siegfried.

Über Prof. Dr. Dr. h.c. Marko Sarstedt

Prof. Dr. Dr. h.c. Marko Sarstedt ist Leiter des Instituts für Marketing an der Munich School of Management der Ludwig-Maximilians-Universität München und außerordentlicher Professor sowie Ehrendoktor an der Babeș-Bolyai-Universität Cluj in Rumänien. Der Fokus seiner Forschung liegt auf der Verbesserung multivariater Analysemethoden und messtheoretischer Ansätze, um Konsumentenverhalten besser zu verstehen.

Die Veröffentlichungen von Prof. Dr. Dr. h.c. Marko Sarstedt zählen mit über 100.000 Zitationen (Google Scholar) zu den am häufigsten zitierten Beiträgen in den Sozialwissenschaften. Er hat eine Vielzahl an Auszeichnungen und Preisen gewonnen, einschließlich fünf Emerald Citations of Excellence Awards und zwei William R. Darden Awards.

Prof. Dr. Dr. h.c. Marko Sarstedt diskutierte seine Forschungsergebnisse in führenden Printmedien wie Die Zeit, Huffington Post und Spiegel und thematisiert sie in Dokumentationen auf ARTE oder dem MDR sowie auf der Wissenschaftsplattform Latest Thinking. Im 2020 F.A.Z. Ranking der einflussreichsten Ökonomen belegt Prof. Dr. Dr. h.c. Marko Sarstedt den zweiten Platz im Bereich Forschung. Marko Sarstedt ist Mitglied der „Clarivate Analytic’s Highly Cited Researcher List“.

Kontakt: https://www.marketing.bwl.uni-muenchen.de/team/professoren/prof_-dr_-marko-sarstedt/index.html

ORCID-ID: https://orcid.org/0000-0002-5424-4268

Twitter: https://twitter.com/MarkoSarstedt

LinkedIn: https://www.linkedin.com/in/marko-sarstedt-06819a82/?originalSubdomain=de

ResearchGate: https://www.researchgate.net/profile/Marko-Sarstedt

Zurück zum Open-Science-Magazin