Data Colada entlarvte Arielys gefälschte Ehrlichkeitsdaten mit Schriftarten- und Rundungsforensik

Eine PNAS-Studie von 2012 von Shu, Mazar, Gino, Ariely und Bazerman berichtete über eine verblüffend billige Gegenmaßnahme gegen Unehrlichkeit: Verlegt man das Ehrlichkeitsversprechen an den Anfang eines Formulars, lügen Menschen weniger. In ihrem Feldexperiment gaben fast 13.500 Kfz-Versicherungskunden, die oben unterschrieben, etwa 2.400 Meilen mehr an — 10 % — als diejenigen, die unten unterschrieben. Die Erkenntnis wurde mehr als 400 Mal zitiert, an Wirtschaftshochschulen gelehrt, vom Versicherer Lemonade übernommen, von Regierungen im Vereinigten Königreich, in Guatemala und in Kanada getestet und vom IRS dafür anerkannt, dass sie half, in einem einzigen Quartal zusätzlich 1,6 Millionen Dollar von Lieferanten einzuziehen.

Die Schwierigkeiten begannen, als sich der Effekt nicht replizieren ließ. Die Originalautoren schlossen sich Außenstehenden an, um das Unterschriftenexperiment erneut durchzuführen, und fanden keinen Unterschied; 2020 veröffentlichten sie dieses Scheitern in PNAS — und stellten dabei erstmals die Originaldaten von 2012 bereit, ein Transparenzschritt, der damals noch selten war. Joe Simmons, Leif Nelson und Uri Simonsohn, die Akademiker hinter dem Blog Data Colada, luden die Tabellenkalkulation mit einem Team anonymer Forscher herunter und begannen zu fragen, nicht ob die Statistiken richtig waren, sondern ob die Datei aussah wie etwas, das Menschen tatsächlich erzeugt hatten.

Ihre Prüfung fand vier Anomalien. Die angegebenen gefahrenen Meilen waren gleichmäßig von 0 bis 50.000 verteilt — nicht unterscheidbar von einem Zufallszahlengenerator in Excel. Die angegebenen Tachostände enthielten keine runden Zahlen, obwohl Menschen beim Schätzen runden. Die Hälfte der Baseline-Zeilen war in Calibri und die Hälfte in Cambria getippt, wobei jede Cambria-Zeile ein fast identisches Gegenstück zu einer Calibri-Zeile war, das stets um weniger als 1.000 Meilen höher lag; eine Million Simulationen erzeugten dies nie durch Zufall. Baseline-Zeilen waren dupliziert und leicht verändert worden; die experimentellen Daten stammten aus einem Zufallszahlengenerator — gefälscht „jenseits jedes vernünftigen Zweifels“.

Die Beweise erzwangen eine Abrechnung. Alle fünf Originalautoren stimmten zu, dass die Daten betrügerisch erschienen, und baten PNAS, die Arbeit zurückzuziehen; vier Autoren erklärten, sie hätten an der Datenerhebung keinen Anteil gehabt, sodass Ariely — der einzige Autor mit Kontakt zum Versicherer — als offene Frage blieb. Ariely bestritt Fehlverhalten und machte seinen distanzierten Ansatz dafür verantwortlich. BuzzFeed News veröffentlichte die Untersuchung am 21. August 2021; die Hartford bestätigte lediglich, dass ein kleines Projekt mit Ariely aus den Jahren 2007–2008 existiert hatte und dass sie keine Daten oder Ergebnisse daraus finden konnte.

Statt die Statistiken erneut durchzurechnen, die alltägliche Ebene der Rohdatei prüfen — Schriftarten, Rundungen, doppelte Zeilen und Verteilungen —, wo gefälschte Daten sich selbst verraten

Betrug lässt sich am leichtesten in den Statistiken verbergen und am schwersten in der alltäglichen Textur der Daten — Schriftarten, Rundungen und Duplikate überstehen die Peer-Review und entlarven den Generator.

Die Entscheidung der Arbeit von 2020, Rohdaten zu veröffentlichen, verwandelte eine nicht überprüfbare Behauptung in eine prüfbare Datei; ohne die Veröffentlichung hätte die Fälschung nicht gefunden werden können.

Die Tests waren billig und öffentlich — Verteilungsanpassungen, Ziffernzählungen, Schriftartenaufteilungen und Simulationen, die jeder Leser nachvollziehen konnte —, sodass das Urteil auf Beweisen beruhte, nicht auf Autorität.

Der Erfolg der Erkenntnis selbst schuf den Anreiz zur Prüfung: Eine Intervention, die von Versicherern und Steuerbehörden übernommen wurde, war es wert, überprüft zu werden, sobald sie sich nicht mehr replizieren ließ.

Wenn ein Ergebnis wichtig ist, endet das Vertrauen bei den Rohdaten: die Datei verlangen und dann Rundungen, Duplikate, Schriftarten und Verteilungen prüfen — Zahlen zu fälschen ist einfach; sie menschlich aussehen zu lassen nicht.

Innerhalb von Tagen nach dem Data-Colada-Beitrag im August 2021 stimmten alle fünf Autoren zu, dass die Daten betrügerisch erschienen, und baten PNAS, die Arbeit zurückzuziehen; die Untersuchung von BuzzFeed News, am 26. August mit der Stellungnahme der Hartford aktualisiert, machte den Fall zu einem Symbol der Replikationskrise. Das Jahrzehnt des Einflusses des Betrugs war bereits verflossen: Produkte, die auf dem Unterschrifteneffekt aufbauten, von Lemonades Ehrlichkeitsversprechen bis zu Änderungen an staatlichen Steuerformularen, mussten neu bewertet werden. Die systemische Lehre der Autoren blieb bestehen: Fachzeitschriften sollten Rohdaten verlangen, denn die Veröffentlichung war es, die die Fälschung überhaupt erst aufdeckbar machte.