Forschung anders evaluieren
Praxistipp 11
Offene Wissenschaft stellt einen tiefgreifenden Wandel in Wissenschaft und Forschung dar, der im Kern immer auch die öffentliche Nachvollziehbarkeit von Entscheidungen mit umfasst. Dies gilt auch für die Evaluierungspraktiken, die bislang meist zwischen einzelnen, meist anonymen, Reviewer:innen und Autor:innen stattfanden.
Peer-Review neu denken
Peer-Review ist ein zentraler Begutachtungsmechanismus in der Forschung. Als Ergebnis dieser Begutachtung steht gute fundierte wissenschaftliche Forschung. Der Prozess wird in der Regel von der Zeitschrift oder dem Verlag organisiert. Diese legen das Manuskript anderen Forscher:innen aus dem gleichen Fachgebiet vor. Dieses System hat jedoch einige Schwachstellen, insbesondere weil Gutachter:innen natürlich auch Konkurrent:innen des Autors bzw. der Autorin sein können. Umgekehrt bearbeiten einzelne Gutachter:innen manchmal Forschungsthemen, die nicht im engeren Sinne zur eigenen Expertise passen.
Zudem schützt auch der Peer-Review-Mechanismus nicht in allen Fällen vor wissenschaftlich problematischen Veröffentlichungen. So wurden seit den 2000er Jahren verschiedene Veröffentlichungen von betrügerischen oder fragwürdigen Artikeln bekannt, die auf Datenmanipulation oder Plagiaten basierten, aber den Peer-Review-Prozess bestanden (Grieneisen & Zhang, 2012; Fang, Steen & Casadevall, 2013).
Offene Wissenschaft hat zur Entstehung von Open-Peer-Review-Praktiken mit zwei Hauptmodalitäten geführt, nämlich dass die Namen der Gutachter:innen veröffentlicht werden und/oder die Begutachtung auf einer Plattform erfolgt, die es allen Nutzer:innen ermöglicht, den Artikel zu kommentieren. Diese Praxis wurde durch die Existenz von Vorveröffentlichungsplattformen wie arXiv und bioRxiv erleichtert, die Zeitschriften zum Sammeln von Kommentaren nutzen können.
Beispiel
Die Peer Community in Plattform organisiert die Begutachtung von wissenschaftlichen Manuskripten, die in einem offenen Archiv hinterlegt sind. Nach einer bestimmen Anzahl von positiven Gutachten erhalten die Autor:innen die Ergebnisse des Review-Prozesses – sogenannte Empfehlungen, die frei zugänglich, zitierfähig und mit einem Digital Object Identifier versehen sind. Zeitschriften können so Artikel frei veröffentlichen, ohne dass sie Gutachter:innen anfordern müssen.
In bestimmten Disziplinen wie zum Beispiel den Wirtschaftswissenschaften hat die Vorregistrierung (pre-registration) von Hypothesen und Protokollen (registered reports) in Registern oder Zeitschriften zu einer Änderung der Peer-Review Praxis geführt. Das Peer-Review wird in zwei Stufen durchgeführt, was den Effekt der Publikationsverzerrung (Tendenz, nur positive Ergebnisse zu veröffentlichen) reduziert und den Forschungsprozess in den Vordergrund stellt.
Lesetipp: „Was die Open-Science-Bewegung aus der Corona-Krise lernen kann“ – Interview mit Prof. Dr. Isabella Peters, u.a. zu Open Peer Review.
Wir wünschen Ihnen viel Erfolg bei Ihrer Forschung!
Stand: März 2021
Fragen, Kommentare und Hinweise gern an open-science@zbw.eu