Data Colada、フォントと丸めのフォレンジックでArielyの誠実さデータの捏造を暴く

2012年のPNAS論文でShu、Mazar、Gino、Ariely、Bazermanは、不正直さに対する驚くほど安価な対策を報告した。誠実さの誓約をフォームの先頭に移せば、人はより嘘をつかなくなるというものだ。そのフィールド実験では、先頭で署名した約13,500人の自動車保険加入者が、末尾で署名した人々よりも約2,400マイル（10%）多く走行距離を報告した。この発見は400回以上引用され、ビジネススクールで教えられ、保険会社Lemonadeに採用され、英国、グアテマラ、カナダの政府によって検証され、IRSはこれにより単一四半期でベンダーから追加160万ドルを徴収するのに役立ったと評価した。

問題は、この効果が再現されなかったことから始まった。原著者らは外部の研究者とともに署名実験を再実行し、差異がないことを見出し、2020年にその失敗をPNASで発表した。その際、2012年の元データを初めて公開した。これは当時まだ珍しかった透明性の措置だった。Data Coladaブログを運営する学者Joe Simmons、Leif Nelson、Uri Simonsohnは、匿名の研究者チームとともにスプレッドシートをダウンロードし、統計が正しいかどうかではなく、そのファイルが人々が実際に作成したもののように見えるかどうかを問い始めた。

彼らの監査は4つの異常を発見した。報告された走行距離は0から50,000まで一様に分布しており、Excelの乱数生成器と区別がつかなかった。報告されたオドメーターの読み取り値には丸い数字がなく、人は推定するときに丸めるはずだった。ベースライン行の半分はCalibriで、半分はCambriaで入力されており、各Cambria行はCalibri行のほぼ双子で、常に1,000マイル未満だけ高かった。100万回のシミュレーションでも偶然にそれは生じなかった。ベースライン行は複製され、ジッターが加えられていた。実験データは乱数生成器から得られたもので、「いかなる疑いの余地もなく」捏造されていた。

証拠は清算を迫った。原著者5人全員がデータは詐欺的に見えることに同意し、PNASに論文の撤回を求めた。4人の著者はデータ収集に関与していないと述べ、保険会社と連絡を取っていた唯一の著者であるArielyが未解決の疑問として残った。Arielyは不正を否定し、自らの放任的なアプローチを非難した。BuzzFeed Newsは2021年8月21日に調査を公開した。HartfordはArielyとの2007～2008年の小規模なプロジェクトが存在したこと、そしてそこからデータや成果物を見つけられなかったことのみを確認した。

統計を再実行するのではなく、生ファイルの日常的な層——フォント、丸め、重複行、分布——を監査する。そこに捏造データは自らを裏切る

詐欺は統計の中に隠すのが最も容易で、データの日常的な質感の中に隠すのが最も難しい——フォント、丸め、重複は査読を生き延び、生成器を露呈させる。

2020年の論文が生データを公開する決定をしたことで、検証不可能な主張が監査可能なファイルに変わった。公開がなければ、捏造は発見できなかっただろう。

テストは安価で公開されていた——分布の適合、桁数、フォントの分割、シミュレーションは誰でも再実行できた——ため、評決は権威ではなく証拠に基づいた。

この発見自体の成功が検証のインセンティブを生んだ。保険会社や税務機関に採用された介入は、再現されなくなった時点で検証する価値があった。

結果が重要なら、信頼は生データで終わる。ファイルを要求し、丸め、重複、フォント、分布を確認せよ——数字を捏造するのは容易だが、人間らしく見せるのは容易ではない。

2021年8月のData Coladaの投稿から数日以内に、著者5人全員がデータは詐欺的に見えることに同意し、PNASに撤回を求めた。BuzzFeed Newsの調査は8月26日にHartfordの声明で更新され、この事例を再現性危機の象徴とした。詐欺の10年にわたる影響はすでに費やされていた。署名効果に基づいて構築された製品——Lemonadeの誠実さの誓約から政府の税務フォームの変更まで——は再評価を迫られた。著者らの体系的な教訓は残った。学術誌は生データを要求すべきである。なぜなら、公開こそが捏造をそもそも捕捉可能にしたからだ。