Chabris ertappte Gladwells Schriftart-Behauptung bei einer 40-Studenten-Studie, die nie repliziert wurde

Im Oktober 2013 begann Malcolm Gladwells neues Buch David und Goliath mit einer markanten Prämisse: Angesichts überwältigender Widrigkeiten entstehen Größe und Schönheit. Eines seiner Beispiele, entnommen aus einer Studie von 2007, behauptete, dass Menschen, die Denkaufgaben in einer schwer lesbaren Schriftart lasen, 29 Prozent besser abschnitten – ein kontraintuitives Ergebnis mit unmittelbarer praktischer Anziehungskraft.

Christopher Chabris, Psychologieprofessor, der das Buch für das Wall Street Journal rezensierte, stritt nicht mit der Geschichte; er öffnete die Studie, auf der sie beruhte. Die Arbeit umfasste 40 Personen, 20 pro Schriftart, alle Studenten der Princeton University – Fakten, die Gladwell nicht erwähnte. Als andere Forscher denselben Test mit fast 300 Studenten an einer kanadischen öffentlichen Universität versucht hatten, konnten sie den Effekt nicht replizieren. Das Vorzeigebeispiel der These des Buches brach bei näherer Prüfung zusammen.

Die Dekonstruktion ließ sich verallgemeinern, weil das Muster vertraut war. Chabris schrieb, dieser Fehler durchziehe Gladwells Schriften: Er sei meisterhaft darin, Just-so-Geschichten zu erzählen und die Wissenschaft nach Gutdünken auszuwählen, um sie zu stützen. Vier Jahre zuvor hatte Steven Pinkers Rezension in der New York Times für einen Autor, dessen Bildung zu einem Thema darin besteht, einen Experten zu interviewen, den Begriff Igon Value Problem geprägt. Selbst Bewunderer räumten ein, dass die Fakten an zweiter Stelle kamen; Gladwell selbst sagte Interviewern, er sei ein Geschichtenerzähler, der in der Forschung nach Mitteln sucht, das Geschichtenerzählen zu bereichern, und Leser, die seine Bücher als zu vereinfacht empfänden, seien nicht das Publikum.

Der Fall ist eine übertragbare Prüfung. Überraschende Statistiken sollten bis zu ihrer Primärarbeit zurückverfolgt werden, wo Stichprobengröße, Stichprobenpopulation und Replikationsgeschichte offen zutage liegen. Vierzig Personen können kein Gesetz menschlichen Verhaltens tragen, und ein Effekt, der sich mit fast 300 nicht reproduzieren lässt, ist überhaupt kein Gesetz.

Nicht mit der Geschichte streiten – die zitierte Studie öffnen; Stichprobengröße, wer beprobt wurde und ob jemand repliziert hat, sind die Verräter, die nach Gutdünken ausgewählte Wissenschaft entlarven

Eine Primärarbeit beantwortet die beiden Fragen, denen eine überzeugende Nacherzählung ausweicht: wie viele Menschen untersucht wurden und wer sie waren.

Eine gescheiterte Replikation ist entscheidender Beleg dafür, dass ein Effekt nicht robust ist, was auch immer die ursprüngliche Arbeit behauptet hat.

Weil der Fehler im Vorzeigebeispiel des Buches lag und einem Jahre zuvor dokumentierten Muster entsprach, entlarvte eine Anekdote eine Methode statt eines einmaligen Fehlers.

Die Prüfung kostete nichts außer Lesen: Es war kein neues Experiment nötig, um zu zeigen, dass 20 Princeton-Studenten pro Schriftart keine große Behauptung stützen können.

Bevor man eine überraschende Forschungsbehauptung wiederholt, sollte man sie bis zur Primärarbeit zurückverfolgen und Stichprobe, Population und Replikationen prüfen; eine aufgedeckte Rosinenpickerei befleckt jede weitere Behauptung des Geschichtenerzählers.

Chabris erweiterte die Rezension zu einem Blogbeitrag mit dem Titel Why Malcolm Gladwell Matters (And Why That's Unfortunate). Der Knight Science Journalism Tracker am MIT griff den Fall auf, und die Argumentation erreichte Hacker News mit 370 Punkten und 222 Kommentaren. Gladwells eigene Zitate – ein Geschichtenerzähler, der Forschung nutzt, um das Geschichtenerzählen zu bereichern, und Bücher, die für manche Leser zu vereinfacht sind – wurden von Kritikern als Bestätigung gelesen. Das dauerhafte Ergebnis war eine demonstrierte Technik: Wenn ein Bestseller eine überraschende Studie zitiert, dauert es Minuten, ihre Stichprobe und Replikationen zu prüfen, und das kann die Geschichte zum Einsturz bringen.