Open Science öffnet viele Türen

Prof. Dr. Jürgen Huber über seine Erfahrungen mit Crowd-Analysis-Projekten

Herr Professor Huber, welche Open-Science-Praktiken sind für Sie besonders relevant?

JH: In den vergangenen Jahren sind Replikationsstudien und mittlerweile auch Crowd-Analysis-Projekte zu den wichtigsten Standbeinen meiner Forschung geworden. All das, was in den Bereich Open Science fällt, hat sich von vorsichtigen Anfängen zu meinem produktivsten Feld mit den oft angesehensten Publikationen entwickelt. Man sollte also nicht glauben, dass Open Science ein Nebenschauplatz der Wissenschaft ist, oder dass man damit seine Zeit vergeudet. Als junge:r Forscher:in kann man sich hier durchaus seinen eigenen Namen machen und sehr erfolgreich und sehr sichtbar sein.

Wie haben Sie Zugang zu diesem Bereich gefunden?

JH: Gemeinsam mit meinem langjährigen Co-Autor Michael Kirchler wurde ich 2016 von einer schwedischen Kollegin angefragt, ob wir uns an einer von ihr geplanten Untersuchung beteiligen möchten. Es ging um die Frage, wie replizierbar Studien in experimenteller Ökonomie sind. Dies wollte sie vorher anhand einer Wahlbörse erheben. Außer uns waren noch zwei weitere Kollegen aus den USA und Singapur beteiligt. Jedes Team replizierte fünf Studien, insgesamt waren es 20 Studien, davor gab es Wahlbörsen, um zu untersuchen, ob die Community einschätzen kann, was reproduzierbar ist und was nicht. Das Ergebnis zeigte, dass die Community durchaus versteht, wo vielleicht ein wenig an den Ergebnissen gedreht wurde. Insgesamt hat diese Studie sehr gut funktioniert und wurde hervorragend veröffentlicht – das war mein Einstieg in den Bereich Open Science.

Wie ging es weiter?

JH: Direkt im Anschluss habe ich gemeinsam mit Kolleg:innen weitere Studien repliziert und die Arbeit  wieder sehr gut veröffentlichen können, doch dann wollten wir etwas Neues ausprobieren. Ich stieß damals auf den Bereich Crowd Analysis. Das bedeutet: Mehrere Forschungsteams arbeiten mit denselben Daten und Hypothesen, und anschließend wird geschaut, ob sie zu denselben Ergebnissen kommen. Das Vorgehen sagt viel über die Zuverlässigkeit der Ergebnisse aus, aber auch über das Spektrum möglicher Analysepfade. Da mich außerdem schon lange der Bereich Neuroscience interessiert, hatten wir die Idee, zu untersuchen, wie zuverlässig unser Gehirn eigentlich arbeitet. Wir riefen wieder unsere schwedischen Forschungskolleg:innen an, die den Vorschlag auch gleich sehr spannend fanden, und holten noch einen Spezialisten für Neuroscience aus den USA ins Boot, der wiederum einen Gehirnforscher in Israel kannte, der relativ kostengünstig Gehirnscans für uns durchführen konnte. Schon hatten wir ein Team auf drei Kontinenten, an vier verschiedenen Unis.

Wie lief die Untersuchung ab?

JH: Wir haben 110 Gehirne scannen lassen – eine sehr hohe Zahl für solche Studien. Jede:r der Proband:innen war zwei Stunden im Scanner und entschied dort über 256 Lotterien. Die Daten stellten wir der Community zur Verfügung. Wer bereit war, unsere Daten auszuwerten – was rund zwei Wochen Arbeit bedeutete –, wurde Co-Autor:in der Studie. Am Ende hatten wir ein Paper mit rund 200 Co-Autor:innen, dafür aber sehr hochrangig publiziert. Wir wollten herausfinden, wie konsistent die Resultate sind und wie gut die Community diese einschätzen kann. Als erstes Ergebnis zeigte sich ein erheblicher Overconfidence-Bias: Die Community schätzte, es würde 69 Prozent signifikante Resultate geben, tatsächlich waren es aber nur 26 Prozent. Zweites spannendes Ergebnis: Keines der Forschungsteams wählte denselben Analysepfad, wir hatten also tatsächlich 70 verschiedene Analysepfade. Solche Crowd-Analysis-Projekte finden wir so vielversprechend, dass wir gerade ein weiteres Projekt im Bereich Finance durchführen. Wir haben Forscherteams gesucht, die 652 Millionen Futures-Transaktionen an der Deutschen Börse auf fünf Hypothesen hin untersuchen. Ich persönlich war nicht sehr optimistisch angesichts dieser Herausforderung, doch wir haben jetzt schon über 400 Forscher, die das in 230 Teams umsetzen werden.

Das klingt nach einem fortlaufenden Prozess …

JH: Tatsächlich ergibt sich oft ein Projekt aus dem anderen und das Ganze gefällt sehr vielen Leuten. Es inspiriert beispielsweise auch unsere Postdocs und Doktorand:innen. Und die Community nimmt es im Wesentlichen sehr positiv auf, wir haben noch nie negatives Feedback erhalten. Ich habe das Gefühl, dass sich im Bereich Experimental Finance und Experimental Economics jetzt ganz schnell sehr viel dreht, auch dank unserer Arbeit. Dass man etwas mitbewegt, ist schön zu sehen. Außerdem konnten wir unser Netzwerk massiv erweitern und sind in Austausch mit vielen Wissenschaftler:innen gekommen, auch aus anderen Fachbereichen. Solche Replikationsstudien erfordern ja sehr viel an Ressourcen – und dafür braucht man Kooperationspartner. Das hat uns viele Türen geöffnet und war extrem positiv und belebend.

Hatten Sie je Schwierigkeiten, Replikationen zu veröffentlichen?

JH: Wir hatten da noch keine Probleme, weil wir auch relativ früh dran waren. Aber man muss sich sicherlich etwas Neues einfallen lassen, um hoch zu publizieren. Als erstes haben wir ja wirklich nur 20 Studien repliziert und das Ganze mit Wahlbörsen kombiniert, damit würden wir heute wohl nicht mehr „ganz oben“ rein kommen. Crowd Analysis ist eine wesentliche Weiterentwicklung. Und es geht ständig weiter – als nächstes wollen wir ein Crowdsourcing-Projekt machen, wir stellen also nur die Forschungsfragen auf und laden dann Forscher:innen in aller Welt ein, Design-Vorschläge zu schicken. Anschließend werden wir die Wissenschaftler:innen abstimmen lassen, welche umgesetzt werden sollten. Also, wenn man schlicht eine Studie repliziert, dann wird man damit im Allgemeinen nicht sehr hoch publizieren. Aber wenn man mehrere Studien repliziert oder ein zusätzliches Analysetool nutzt, dann schaut es wesentlich besser aus.

Das Interview wurde geführt von Dr. Doreen Siegfried.

Das Interview wurde geführt am 16.12.2020.

Über Prof. Dr. Jürgen Huber

Jürgen Huber ist Professor für Finanzwirtschaft und Leiter des Instituts für Banken und Finanzen der Universität Innsbruck. Zu seinen Forschungsfeldern zählen Empirische Finanzwirtschaft, Behavioral and Experimental Finance, Informationsökonomie, Anreizsysteme auf Finanzmärkten sowie Verhalten von Financial Professionals. Er gehört zu den Gründungsmitgliedern der „Society for Experimental Finance“, der weltweit größten Vereinigung von Wissenschaftlern, die finanzwirtschaftliche Fragestellungen mittels Experimenten untersuchen.

Kontakt: https://www.uibk.ac.at/ibf/team/huberj.html.de

ORCID-ID: https://orcid.org/0000-0003-0073-0321

Zurück zum Open-Science-Magazin