シャブリスは、再現されなかった40人学生の研究に対するグラッドウェルのフォント主張を捕らえた

2013年10月、マルコム・グラッドウェルの新著『ダビデとゴリアテ』は、衝撃的な前提で幕を開けた。圧倒的な不利に直面することが偉大さと美を生むというものだ。その例の一つは2007年の研究から引かれ、読みにくい書体で推論問題を読んだ人の得点が29パーセント高かったと主張した。直感に反しつつ、すぐに実用的な魅力を持つ結果だった。

『ウォール・ストリート・ジャーナル』紙で同書を書評した心理学教授クリストファー・シャブリスは、その物語と論争するのではなく、それが依拠する研究を開いた。論文は40人を対象とし、書体ごとに20人、全員がプリンストン大学の学生だった。グラッドウェルはこの事実に触れていなかった。他の研究者がカナダの公立大学で約300人の学生に同じテストを試みたとき、効果を再現できなかった。同書の主張の看板例は、検証によって崩れた。

この解体が一般化したのは、パターンが見慣れたものだったからだ。シャブリスは、この欠陥がグラッドウェルの著作全体に浸透していると書いた。彼はもっともらしい物語を語り、科学をつまみ食いして自説を裏付けることに長けている。4年前、スティーブン・ピンカーの『ニューヨーク・タイムズ』書評は、ある話題についての教育が専門家へのインタビューで成り立つ書き手のために「イゴン・バリュー問題」という言葉を生み出した。称賛者さえ事実は二の次だと認めていた。グラッドウェル自身もインタビュアーに、自分は物語を語る者であり、物語を補強するために研究を参照するのだと語り、彼の本を単純化しすぎだと感じる読者は想定読者ではないと述べていた。

この事例は移植可能なチェックである。驚くべき統計は一次論文までたどるべきであり、そこにはサンプルサイズ、サンプル集団、再現の履歴が明白に記されている。40人では人間行動の法則を支えられず、約300人で再現に失敗する効果は法則ですらない。

物語と論争するのではなく、引用された研究を開くこと。サンプルサイズ、誰が対象だったか、誰かが再現したかが、つまみ食いされた科学を暴く手がかりである

一次論文は、説得力ある語り直しが避ける二つの問いに答える。何人を研究したのか、そして彼らは誰だったのか。

再現の失敗は、元の論文が何を主張したにせよ、その効果が頑健でないことを示す決定的証拠である。

欠陥が同書の看板例にあり、数年前に記録されたパターンと一致したため、一つの逸話が一度きりの誤りではなく手法を暴いた。

チェックには読む以外のコストがかからなかった。フォントごとにプリンストン大生20人では壮大な主張を支えられないことを示すのに、新しい実験は不要だった。

驚くべき研究的主張を繰り返す前に、一次論文までたどり、サンプル、集団、再現を確認せよ。一度暴かれたつまみ食いは、語り手の他のあらゆる主張を汚す。

シャブリスは書評をブログ記事「Why Malcolm Gladwell Matters (And Why That's Unfortunate)」に拡張した。MITのナイト科学ジャーナリズム・トラッカーがこの事例を広め、議論はHacker Newsに達して370ポイント、222コメントを集めた。グラッドウェル自身の言葉、すなわち物語を補強するために研究を使う語り手であり、一部の読者には単純化しすぎた本だという発言は、批評家によって裏付けと受け取られた。持続した成果は実証された手法だった。ベストセラーが驚くべき研究を引用したとき、そのサンプルと再現を確認するのに数分しかかからず、物語を崩せることがある。