- Reinhart und Rogoff veröffentlichten ein Papier, das einbrechen des Wirtschaftswachstums bei hoher Staatsverschuldung bestätigte, welches jedoch fehlerhafte Daten enthielt. Fehler in der Analyse von Reinhart und Rogoff wurden erst 2013 von einem Wirtschaftsstudenten entdeckt, wodurch ihre drastischen Ergebnisse relativiert wurden. Malte Elson und seine Kollegen haben eine systematische Methode entwickelt, um Fehler in wissenschaftlichen Arbeiten zu finden und überprüfen. Das ERROR-Projekt belohnt Gutachter für das Auffinden von Fehlern in wissenschaftlichen Arbeiten und zahlt Boni für verifizierte Fehler. ERROR hat 250.000 Schweizer Franken von der Universität Bern erhalten und strebt an, etwa 100 Arbeiten über vier Jahre zu überprüfen.
Im Jahr 2010 veröffentlichten die renommierten Ökonomen Carmen Reinhart und Kenneth Rogoff ein Papier, das bestätigte, was viele fiskalisch konservative Politiker längst vermutet hatten: Das wirtschaftliche Wachstum eines Landes bricht ein, wenn die Staatsverschuldung einen bestimmten Prozentsatz des BIP überschreitet. Die Abhandlung traf auf offene Ohren bei George Osborne, dem baldigen Schatzkanzler des Vereinigten Königreichs, der sie mehrmals in einer Rede zitierte, in der er die politische Marschroute der Epoche skizzierte: Kürzung öffentlicher Dienste, um die Staatsschulden abzubauen. Es gab jedoch ein Problem mit der Arbeit von Reinhart und Rogoff. Sie hatten versehentlich fünf Länder aus ihrer Analyse herausgelassen und die Zahlen nur für 15 statt der angenommenen 20 Länder berücksichtigt.
Ein entdeckter Fehler
Als einige weniger bekannte Ökonomen diesen Fehler und ein paar andere Ungereimtheiten korrigierten, verschwanden die aufsehenerregendsten Ergebnisse. Die Beziehung zwischen Schulden und BIP war immer noch vorhanden, jedoch waren die Auswirkungen hoher Schulden subtiler als das drastische Szenario, das in Osbornes Rede angedeutet wurde. Wissenschaftler – wie wir alle – sind nicht immun gegen Fehler. “Es ist klar, dass Fehler allgegenwärtig sind und ein kleiner Teil dieser Fehler die Schlussfolgerungen von Arbeiten verändert”, sagt Malte Elson, Professor an der Universität Bern in der Schweiz, der unter anderem Forschungsmethoden untersucht. Das Problem ist, dass es nicht viele Menschen gibt, die diese Fehler suchen. Die Irrtümer von Reinhart und Rogoff wurden erst 2013 von einem Wirtschaftsstudenten entdeckt, dessen Professoren seine Klasse gebeten hatten, die Ergebnisse prominenter Wirtschaftspapiere zu replizieren.
Elson hat zusammen mit seinen Mitforschern Ruben Arslan und Ian Hussey eine systematische Methode entwickelt, um Fehler in wissenschaftlichen Arbeiten zu finden. Das Projekt – inspiriert von der Softwareindustrie, wo Hacker für das Auffinden von Code-Fehlern belohnt werden – sieht vor, dass Forscher bezahlt werden, um wissenschaftliche Arbeiten nach möglichen Fehlern zu durchsuchen, und Boni für jeden verifizierten Fehler erhalten.
Fehlersuche mit System
Die Idee entstand aus einem Gespräch zwischen Elson und Arslan, der andere Wissenschaftler dazu ermutigt, Fehler in seiner eigenen Arbeit zu finden, indem er ihnen eine Bierbelohnung für die Entdeckung eines Tippfehlers anbietet (begrenzt auf drei pro Artikel) und 400 Euro für einen Fehler, der die Hauptschlussfolgerung der Arbeit verändert. “Wir waren uns beide gewisser Arbeiten in unseren jeweiligen Feldern bewusst, die aufgrund nachweisbarer Fehler völlig fehlerhaft waren, aber es war extrem schwierig, den Rekord zu korrigieren”, sagt Elson. Alle diese öffentlichen Fehler könnten ein großes Problem darstellen. Wenn ein Doktorand ihre Forschung auf ein Ergebnis aufbaute, das sich als Fehler herausstellte, könnten das zehntausende verschwendete Dollar sein.
Die Fehlersuche ist keine Standardprozedur bei der Veröffentlichung wissenschaftlicher Arbeiten, sagt Hussey, ein Meta-Wissenschaftler in Elsons Labor in Bern. Wenn eine Arbeit von einer wissenschaftlichen Zeitschrift wie Nature oder Science angenommen wird, geht sie zu einigen Experten auf ihrem Gebiet, die ihre Meinung dazu abgeben, ob die Arbeit qualitativ hochwertig, logisch stichhaltig und ein wertvoller Beitrag zum Fachgebiet ist. Diese Gutachter prüfen jedoch in der Regel nicht auf Fehler und haben in den meisten Fällen keinen Zugang zu den Rohdaten oder dem Code, den sie benötigen würden, um Fehler aufzuspüren.
Die Bedeutung der Fehlersuche
Das Ergebnis ist, dass veröffentlichte Wissenschaft mit allerlei menschlichen Fehlern gespickt ist – wie das Eintragen des falschen Wertes in ein Formular, das Nichtbeheben eines Codierfehlers oder das Übersehen von Zeilen in einer Tabellenkalkulation. Das ERROR-Projekt koppelt Autoren einflussreicher wissenschaftlicher Arbeiten mit Gutachtern, die ihre Arbeit auf Fehler überprüfen. Gutachter werden mit bis zu 1.000 Schweizer Franken (etwa 1.131 Dollar) pro überprüfter Arbeit bezahlt und erhalten für die Identifizierung von geringfügigen, mäßigen und schwerwiegenden Fehlern Prämien. Auch die Originalautoren werden für die Einreichung ihrer Arbeiten bezahlt. ERROR hat 250.000 Schweizer Franken von der Universität Bern für Auszahlungen über vier Jahre erhalten, was für etwa 100 Arbeiten ausreichen sollte.
