解決方案
Shu、Mazar、Gino、Ariely 與 Bazerman 於 2012 年發表在 PNAS 的一項研究,報告了一個便宜得驚人的反不誠實對策:把誠實宣誓移到表格最上方,人們就會少說謊。在其田野實驗中,近 13,500 名在表格頂端簽名的汽車保險客戶,申報的行駛里程比在底部簽名者多約 2,400 英里——高出 10%。這項發現被引用超過 400 次,在商學院教授,被保險公司 Lemonade 採用,由英國、瓜地馬拉與加拿大政府測試,美國國稅局(IRS)還將其列為單一季度從供應商多收 160 萬美元的助力。
問題始於該效應無法複製。原始作者與外部研究者共同重跑簽名實驗,未發現差異,並於 2020 年在 PNAS 發表該失敗結果——首次公開 2012 年的原始數據,這在當時仍是罕見的透明化舉措。Data Colada 部落格背後的學者 Joe Simmons、Leif Nelson 與 Uri Simonsohn 與一群匿名研究者下載了該試算表,開始追問的不是統計是否正確,而是這個檔案看起來是否像真人實際產出的東西。
他們的稽核發現四項異常。申報的行駛里程從 0 到 50,000 均勻分布——與 Excel 隨機數產生器毫無區別。申報的里程錶讀數沒有整數,儘管人們在估計時會四捨五入。基線資料列有一半以 Calibri 字型輸入,一半以 Cambria 字型輸入,每個 Cambria 列都與某個 Calibri 列幾乎成對,且總是高出不到 1,000 英里;一百萬次模擬從未偶然產生這種情況。基線資料列被複製並加上擾動;實驗數據來自隨機數產生器——造假「毫無疑問」。
證據迫使各方正視。全部五位原始作者都同意數據看似造假,並要求 PNAS 撤稿;四位作者表示未參與數據收集,留下 Ariely——唯一與保險公司有聯繫的作者——成為未解的問題。Ariely 否認有不當行為,並歸咎於自己放手不管的做法。BuzzFeed News 於 2021 年 8 月 21 日發表調查;Hartford 僅確認曾與 Ariely 有過一個 2007–2008 年的小型專案,且找不到該專案的任何數據或交付成果。
它達成了什麼
與其重跑統計,不如稽核原始檔案中平凡的一面——字型、四捨五入、重複列與分布——造假數據正是在這些地方露出破綻
為何奏效
造假最容易藏在統計裡,最難藏在數據的日常紋理中——字型、四捨五入與重複列能通過同儕審查,卻會暴露產生器。
2020 年論文決定公開原始數據,把無法驗證的主張變成可稽核的檔案;若未公開,造假根本不可能被發現。
這些檢驗便宜且公開——分布擬合、位數計數、字型分組與模擬,任何讀者都能重跑——因此結論建立在證據而非權威之上。
該發現本身的成功創造了查核的誘因:一項被保險公司與稅務機關採用的干預措施,一旦無法複製,就值得驗證。
可應用之處
當結果事關重大時,信任止於原始數據:要求提供檔案,然後檢查四捨五入、重複列、字型與分布——捏造數字很容易;讓它們看起來像人為的則不然。
後續發展
2021 年 8 月 Data Colada 文章發布後數日內,全部五位作者都同意數據看似造假,並要求 PNAS 撤稿;BuzzFeed News 的調查於 8 月 26 日更新,加入 Hartford 的聲明,使此案成為複製危機的象徵。這起造假十年的影響力已然耗盡:建立在簽名效應上的產品,從 Lemonade 的誠實宣誓到政府稅表變更,都必須重新評估。作者們的系統性教訓依然成立:期刊應要求原始數據,因為正是公開才讓造假得以被察覺。
追溯依據
參考來源
- A Famous Honesty Researcher Is Retracting A Study Over Fake Data BuzzFeed News · buzzfeednews.com ·
- [98] Evidence of Fraud in an Influential Field Experiment About Dishonesty Data Colada · datacolada.org ·