Die Auswirkungen von Anreizsystemen in der akademischen Welt auf die Qualität der Wissenschaft
Wissenschaftliche Transparenz und Anerkennung: Schlüssel zur Schaffung einer nachhaltigeren und objektiveren Forschungslandschaft
Die akademische Welt ist von einem strengen Bewertungssystem geprägt, in dem Forscher:innen ihre Leistungen anhand bestimmter Kriterien messen lassen müssen. Doch wie funktioniert diese Leistungsbewertung genau? Was hat es mit der berüchtigten Publish-or-Perish-Kultur auf sich? Welche Bias-Effekte existieren neben dem Confirmation Bias und dem Publication Bias? Zudem werfen fragwürdige Forschungspraktiken wie p-hacking, HARKing oder Salami Slicing weitere Fragen zur Glaubwürdigkeit wissenschaftlicher Erkenntnisse auf. Warum ist es wichtig, sich dieser Aspekte bewusst zu sein und was hat dies alles mit Open Science zu tun?
Leistungsbewertung und die Publish-or-Perish-Kultur
Die Leistungsbewertung spielt eine zentrale Rolle in der akademischen Welt und ist ein wesentlicher Bestandteil der Karriereentwicklung von Forschenden. Die Kriterien, anhand derer Leistungen bewertet werden, können je nach Fachbereich, Institution und Land variieren. Im Allgemeinen werden jedoch bestimmte Aspekte als Indikatoren für erfolgreiche Leistungen angesehen.
Publikationen sind eine der wichtigsten Währungen in der akademischen Welt. Die Anzahl und Qualität der veröffentlichten Artikel sind entscheidend für den Karrierefortschritt. In den Wirtschaftswissenschaften werden Artikel in Fachzeitschriften als einer der Hauptindikatoren für Leistung und Erfolg betrachtet. Dabei gibt es eine Hierarchie von sogenannten „Top-Journals“ oder „A-Journals“, die unterschiedliche Prestige- und Relevanzstufen haben. Je höher die Anzahl der Zitationen einer Veröffentlichung in einem „Top-Journal“, desto besser wird die Publikation in der Regel bewertet.
Neben Publikationen werden auch Drittmittel als ein wichtiger Indikator für Leistung und Erfolg betrachtet. Die Fähigkeit, Forschungsprojekte zu akquirieren und finanzielle Unterstützung von externen Geldgebern – vorzugsweise der DFG – zu erhalten, wird als Zeichen für Exzellenz und Innovationskraft gewertet. Forschungsförderungsprogramme, Stipendien und institutionelle Zuschüsse sind daher oft ein wesentlicher Bestandteil der akademischen Laufbahnentwicklung.
Die Beteiligung an internationalen Kooperationen und der Aufbau eines Netzwerks werden ebenfalls als Leistungskriterien betrachtet. Die Zusammenarbeit mit anderen Forschenden und die Teilnahme an internationalen Projekten zeigen, dass eine Person in der Lage ist, in einem globalen Kontext zu arbeiten und zur internationalen Forschungsgemeinschaft beizutragen.
Darüber hinaus können auch Lehre, Betreuung von Studierenden, Serviceleistungen für die wissenschaftliche Gemeinschaft, Auszeichnungen, Ehrungen und Engagement in akademischen Gremien oder Fachverbänden als Indikatoren für Leistung angesehen werden, jedoch sind sie in Bewerbungsverfahren weniger entscheidend als Publikationen. Eng mit der Leistungsbewertung ist daher die Publish-or-Perish-Kultur verbunden. Diese bezeichnet den Druck, kontinuierlich in renommierten Fachzeitschriften zu veröffentlichen, um die Karriere voranzutreiben.
Insgesamt ist es wichtig, die Komplexität der Leistungsbewertung und der Publish-or-perish-Kultur zu erkennen. Eine umfassendere Betrachtung der verschiedenen Aspekte und ein breiterer Blick auf die Vielfalt wissenschaftlicher Leistungen können dazu beitragen, eine nachhaltigere und ausgewogenere akademische Kultur zu schaffen, die Qualität und Integrität in den Vordergrund stellt.
Vor diesem Hintergrund hat sich vor Kurzem die Coalition for Advancing Research Assessment (CoARA) gebildet, eine internationale Koalition von Organisationen und Expert:innen, deren Hauptziel darin besteht, das aktuelle System der Forschungsbewertung zu überdenken und alternative Ansätze zu entwickeln, die die Qualität und den Wert von Forschung in umfassenderer Weise erfassen.
Die Bedeutung des Wissens über Bias-Effekte und die Rolle von Open Science
Um die Integrität und Qualität wissenschaftlicher Forschung zu gewährleisten und die Sinnhaftigkeit von Open Science zu verstehen, ist es von entscheidender Bedeutung, sich der verschiedenen Bias-Effekte bewusst zu sein, die die Ergebnisse von Studien verzerren können. Ein grundlegender Bias-Effekt ist der Confirmation Bias, bei dem Menschen dazu neigen, Informationen zu bevorzugen, die ihre vorhandenen Überzeugungen bestätigen, und Informationen, die diesen widersprechen, zu ignorieren oder abzulehnen. Dies kann zu selektiver Wahrnehmung, Interpretation und Berichterstattung führen und die Objektivität der Forschung beeinträchtigen. Indem Forschende sich des Confirmation Bias bewusst sind, können sie aktiv Maßnahmen ergreifen, um die Auswirkungen dieses Effekts zu minimieren, z.B. durch die Verwendung von Blindstudien, Präregistrierung von Hypothesen und Offenlegung von Daten – eben typische Open-Science-Praktiken.
Ein weiterer relevanter Bias-Effekt ist der Publication Bias, bei dem nur Studien mit signifikanten oder positiven Ergebnissen eher zur Veröffentlichung eingereicht und akzeptiert werden. Dies führt zu einem Verzerrungseffekt, da nicht signifikante oder negative Ergebnisse weniger sichtbar sind. Durch die Förderung von Open Science-Praktiken wie der Veröffentlichung von Null-Findings und der Registrierung von Studien können Forschende dazu beitragen, diese Verzerrung zu verringern und ein vollständigeres Bild der Forschungsergebnisse zu ermöglichen.
Darüber hinaus können in der Forschung auch andere Bias-Effekte auftreten, wie der Forscherdrang nach konsistenten Ergebnissen (HARKing), bei dem Hypothesen nachträglich an die Daten angepasst werden, um signifikante Ergebnisse zu erzielen, oder das p-Hacking, bei dem Forschende unbewusst oder bewusst statistische Analysen manipulieren, um signifikante Ergebnisse zu generieren. Diese fragwürdigen Forschungspraktiken können zu nicht reproduzierbaren Ergebnissen und einer Verzerrung der Forschungsliteratur führen (siehe Abbildung unten). Durch die Sensibilisierung für diese Effekte und die Förderung von Transparenz und Offenheit können solche Praktiken eingedämmt werden.
(Quelle: Charlotte R. Pennington (2023): A Student´s Guide to Open Science.)
Das Bewusstsein für die Folgen eindimensionaler Leistungsbewertung, Bias-Effekte und fragwürdige Forschungspraktiken ist entscheidend, um die Qualität und Integrität der Forschung zu verbessern. Die Förderung von Transparenz, Offenheit und einer breiteren Anerkennung verschiedener Forschungsbeiträge sind mögliche Wege, um die Wissenschaft in eine nachhaltigere und objektivere Richtung zu lenken.