Qualitative Forschung kann reproduziert werden

Ingo Rohlfing über seine Open-Science-Erfahrungen

Welche Erfahrungen haben Sie mit Forschungstransparenz und Reproduzierbarkeit gemacht?

IR: Es ist harte Arbeit, weil man immer alles genau dokumentieren muss. Ich muss festhalten, was gemacht wurde, warum es gemacht wurde, und wenn man im Team gearbeitet hat, wer es gemacht hat. Bestenfalls dokumentiert man auch Überlegungen, warum man sich gegen etwas entschieden hat. Wenn ich hinterher meine Schritte rekonstruieren kann, ist es viel einfacher, als wieder von Null anzufangen. Lohnenswert ist es aber aus dem einfachen Grund: Ich muss weniger im Kopf behalten und kann auch nach Jahren anhand meines Research Diarys noch die eigene Forschung nachvollziehen und daran anschließen. Dazu gehört allerdings Disziplin.

Teilen Sie auch die jeweilige Dokumentation mit Teammitgliedern?

IR: Auf jeden Fall. Wenn im Team gearbeitet wird, ist die Dokumentation sozusagen das institutionelle Gedächtnis, woran auch jede:r teilhaben kann. Ein Vorteil dieser Dokumentation ist, dass man in der Publikation die einzelnen Rollen transparent machen kann. Je größer das Team ist, umso wichtiger ist dies, weil nicht zwangsläufig alle Team-Mitglieder auch Autor:innen sind. Es ist aber wichtig, festzuhalten, wer zu Projektbeginn beispielsweise die Daten codiert hat. Ich kann mit dem Research Diary die Beiträge der einzelnen Personen transparent machen.

Kann man qualitative Untersuchungen reproduzieren und wenn ja, machen Sie das?

IR: Ja, das ist möglich. Wir haben hier ein Projekt, welches wir in einem kleinen Team verfolgen. Wir nehmen publizierte qualitative Beiträge, die wissenschaftstheoretisch so verankert sind, dass sie einen Reproduzierbarkeitsanspruch haben. Wir prüfen, ob man überhaupt noch an die Quellen herankommt, die zitiert werden. Wurden die Quellen überhaupt richtig zitiert? Denn manchmal schleichen sich Fehler ein. Das ist eine ganz einfache, technische Ebene, bei der wir nicht auf die Inhalte oder Argumentationen schauen, sondern nur darauf, ob wir uns dieselbe Quellenlage schaffen können, um die Ergebnisse nachzuvollziehen. Bei einer Auswahl von Artikeln wollen wir zusätzlich auf die Inhalte gucken und nachschauen, ob wir mit den genannten Quellen zu einer ähnlichen Schlussfolgerung wie die Erstautor:innen kommen. Also, um auf Ihre Frage zurückzukommen: Es ist möglich, hängt aber davon ab, wie der Artikel wissenschaftsphilosophisch verortet ist.

Sie beschäftigen sich in Ihrer Forschung und Lehre mit dem Thema Forschungstransparenz und Reproduzierbarkeit. Was sind Ihre Forschungsinteressen und was haben Sie herausgefunden?

IR: Was wir konkret machen, hängt davon ab, ob es ein qualitativer oder quantitativer Kurs ist. Bei einem qualitativen Kurs bekommen die Studierenden einen Auszug aus einem Artikel und sollen selber versuchen, die Quellen zu finden und prüfen, ob sie zur selben Schlussfolgerung kommen wie der Autor bzw. die Autorin. Eine Erkenntnis ist dann, dass sich 20 Studierende nicht einig sind, weder untereinander noch mit dem Autor oder der Autorin, obwohl sie dieselben Grundlagen haben. Das soll die Studierenden unter anderem lehren, dass die Schlussfolgerungen variieren können, auch wenn man sich sehr viel Mühe gibt, alles transparent zu dokumentieren. Das ist wie bei einer Jury mit zwölf Personen, die sich nicht einig sind, obwohl sie das selbe gehört und gesehen haben. Hier spielen einfach unterschiedliche Erfahrungen in die Interpretation mit rein. Bei der quantitativen Forschung ist es ähnlich. Hier können die Studierenden zum Beispiel versuchen, selbst Datensätze von Artikeln zu besorgen und diese einzulesen. Da ergeben sich schon Probleme mit der Reproduzierbarkeit. Die Studierenden sollen ein Gefühl dafür bekommen, dass das, was einfach erscheint, beispielsweise einen Datensatz herunterzuladen und einzulesen, eine große Hürde sein.

Wenn die Studierenden auf unterschiedliche Schlussfolgerungen kommen, wird das reflektiert?

IR: Aus Zeitgründen meist nicht systematisch. Das wäre natürlich ein gutes Projekt. Sie sollen argumentieren oder auch offenlegen, warum sie das so oder anders interpretieren. So verstehen sie dann zumindest auf einer ersten Ebene, warum man sich nicht immer einig ist, selbst wenn man eigentlich alles auf die gleiche Weise gemacht hat.

Forschen Sie selbst zu den Themen Forschungstransparenz und Reproduzierbarkeit?

IR: Ja. Wir versuchen in einem Projekt, das gerade noch am Anfang steht, für eine größere Anzahl an veröffentlichten qualitativen Artikeln unterschiedlich tief in die Analyse einzusteigen. Wir wollen nachvollziehen, wie viel zitiert wurde, wie viele verschiedene Quellen zitiert wurden, ob Seitenzahlen angegeben wurden. Bei einem anderen Projekt, das auch noch am Beginn steht, geht es darum, Open-Science-Techniken wie registrierte Designs oder crowd-sourced Coding im qualitativen Kontext anzuwenden. Um dann zu sehen, ob man Instrumente, die bisher nur in der quantitativen Forschung erprobt wurden, auch auf qualitative Forschung übertragen kann. Und inwieweit es dann zur Transparenz und zu robusteren Ergebnissen beitragen kann.

Wie sind Sie auf die Idee gekommen und was genau ist Ihr Forschungsgegenstand?

IR: Es gibt noch relativ wenig methodische Forschung darüber, wie man empirische Forschung möglichst nachvollziehbar und reproduzierbar gestalten kann und ob man es überhaupt sinnvoll leistbar ist. Das kann ja auch ein Ergebnis sein. Die Idee war, als Fallbeispiel die Verhandlungen zur Jamaika-Koalition 2017 zu nehmen, weil es aus theoretischer Sicht überraschend war, dass die drei Parteien nicht zusammengekommen sind. Wir versuchen in einem empirischen qualitativen Forschungsprozess verschiedene Techniken anzuwenden und zu evaluieren: Wie gut hat es geklappt, was hätte man anders machen können, was ergibt keinen Sinn etc. Wir werden einen Pre-Analysis-Plan schreiben und das Design für die Fallstudie selbst registrieren: Wir werden festlegen, welche Archive aufgesucht werden sollen, mit wem wir Interviews führen wollen, wir werden den Interviewleitfaden vorher festlegen und festlegen, wie die Interviews ausgewertet und codiert werden etc. Und dann erst werden wir in die Datensammlung gehen. Es gibt registrierte Designs für Fallstudien, aber sehr wenig. Und dass man dann einmal auch sagen kann, so haben wir es gemacht. Die gesammelten Materialien können auf verschiedene Arten ausgewertet werden in Anlehnung an Techniken, die in der quantitativen Forschung genutzt werden.  

Warum haben Sie Forschungstransparenz als ein Forschungsthema gewählt?

IR: Wie ich dazu gekommen bin, das kann ich gar nicht mehr genau sagen. Es war vermutlich tatsächlich über Twitter, weil in der Psychologie die Diskussion über bestimmte Forschungspraktiken und Transparenz durch das Paper von Daryl Bem losgetreten wurde. Das hat mich interessiert und ich habe gemerkt, dass meine eigene Forschung nicht so transparent war, wie sie hätte sein können oder müssen. Transparenz hat vielerlei Mehrwert sowohl für einen selbst als auch für den Zugang für außerwissenschaftliche Interessierte, zum Beispiel Politiker:innen, Journalist:innen oder Laien.

Welche Rolle spielt bei der Methodenausbildung das Thema Research Integrity, P-Hacking etc.? Interessiert das die Studierenden oder die Doktorand:innen?

IR: Das Interesse ist sicherlich da, wenn man es ihnen näherbringt. Im Bachelorbereich geht es zunächst um die Statistik-Grundkenntnisse. Je früher man die Studierenden auf Probleme im Kontext Statistik und für fragwürdige Praktiken sensibilisiert, desto besser. Im Masterstudium kann man darauf aufbauen und die Studierenden zum Beispiel einen Pre-Analysis-Plan schreiben lassen. Bei Doktorand:innen muss man es auf jeden Fall machen, weil diese Forschung betreiben und publizieren wollen. Aber je früher man die Studierenden an gute wissenschaftliche Praxis heranführt, desto besser. Die guten Praktiken sind dann internalisiert und man macht es einfach.

Sie haben die DORA Declaration (Declaration on Research Assessment) unterschrieben. Inwieweit wird das Thema Bewertung von Forschungsleistungen bei Ihnen im Fach diskutiert?

IR: Inwieweit es im Fach insgesamt diskutiert wird, ist schwer zu sagen. Bei Berufungs- oder Tenure-Track-Verfahren spielt es dann immer noch die größte Rolle. Es werden zwar Artikel gelesen, aber letztlich geht es meist um den Namen der Zeitschrift und das Renommee. Und das hängt wiederum mit dem Impact Factor zusammen.

Die Diskussion um die Replikationskrise in der Psychologie hat deutschlandweit große Wellen ausgelöst, auch in der Wirtschaftsforschung. Sind Sie da im Gespräch mit anderen Wissenschaftler:innen Ihres Faches, dass das Thema anders angegangen werden muss und das Fach robuster aufstellen?

IR: Nicht auf einer festen institutionellen Basis, aber über Forschungskontakte oder normalen Austausch. Es gibt schon viele Initiativen, ob in Berlin oder Mannheim, die ausstrahlen. Aber meines Wissens nach gibt es noch keine Organisation, Einrichtung oder Bewegung, die an die DFG oder das BMBF oder die Hochschulrektorenkonferenz herantritt und sagt, dass in der Breite etwas passieren muss.

Wie sehen Sie die zukünftige Entwicklung? Passiert in den nächsten zwei Jahren die große Revolution hin zum Thema Open Science, Reproduzierbarkeit, Robustheit, Transparenz?

IR: Revolution glaube ich nicht. Es ist eher eine Evolution. Ein wichtiger Grund ist meiner Meinung nach, dass man so Forschung betreibt, wie man sozialisiert wird. Das heißt, wenn man den neuen Generationen von Wissenschaftler:innen Open Science mit auf den Weg gibt und die das einfach praktizieren, weil sie es nicht anders kennen, dann setzt sich das langsam durch. Sehr langsam und eher auf die Sicht von 10-15 Jahren.

Vielen Dank!

Das Interview wurde am 16. Dezember 2022 geführt von Dr. Doreen Siegfried.

Über Prof. Ingo Rohlfing, PhD:

Ingo Rohlfing ist Professor für Methoden der empirischen Sozialforschung an der Universität Passau. Seine Hauptinteressen in Forschung und Lehre sind sozialwissenschaftliche Methoden mit den Schwerpunkten Kausalschluss, qualitative und multimethodische Forschung sowie Transparenz und Reproduzierbarkeit der Forschung. Inhaltlich beschäftigt sich Professor Rohlfing mit politischen Parteien und Parteipolitik. Sein Hauptziel besteht darin, den ideologischen Wandel von Parteien im Laufe der Zeit und in einer Querschnittsperspektive zu erklären.

Kontakt: https://ingorohlfing.wordpress.com

ORCID-ID: https://orcid.org/0000-0001-8715-4771

Twitter: https://twitter.com/ingorohlfing

ResearchGate: https://www.researchgate.net/profile/Ingo-Rohlfing

GitHub: https://github.com/ingorohlfing

Zurück zum Open-Science-Magazin