2013年10月,马尔科姆·格拉德威尔的新书《大卫与歌利亚》以一个引人注目的前提开篇:面对压倒性的劣势会造就伟大与美。其中一个例子取自2007年的一项研究,声称用难读的字体阅读推理问题的人得分高出29%——这是一个反直觉且具有直接实用吸引力的结果。

克里斯托弗·查布里斯是一位心理学教授,他为《华尔街日报》评论这本书时,并没有与这个故事争辩;他翻开了它所依据的那项研究。该论文涉及40人,每种字体20人,全部是普林斯顿大学的学生——这些事实格拉德威尔并未提及。当其他研究者在加拿大一所公立大学用近300名学生尝试同样的测试时,他们无法重复这一效应。这本书论点的旗舰例子一经审视便崩塌了。

这一解构之所以具有普遍意义,是因为这种模式似曾相识。查布里斯写道,这一缺陷贯穿于格拉德威尔的著作:他擅长讲述想当然的故事,并挑选科学来支撑它们。四年前,史蒂文·平克在《纽约时报》的书评中为一位对某话题的“教育”仅由采访一位专家构成的作家创造了“伊贡价值问题”一词。就连仰慕者也承认事实是次要的;格拉德威尔本人告诉采访者,他是一个讲故事的人,依靠研究来增强讲故事的效果,而那些觉得他的书过于简化的读者并不是他的受众。

这个案例是一个可迁移的检验方法。令人惊讶的统计数据应当追溯到其原始论文,在那里样本量、样本人群和重复历史都一目了然。40人无法承载一条人类行为定律,而一个在近300人中都无法重现的效应根本不是定律。

不要与故事争辩——翻开被引用的研究;样本量、样本是谁以及是否有人重复过,这些才是揭露挑选科学的线索

原始论文回答了一个引人入胜的复述所回避的两个问题:研究了多少人,以及他们是谁。

失败的重复是决定性证据,表明无论原始论文声称什么,该效应都不稳健。

由于这一缺陷位于该书的旗舰例子中,且与多年前记录在案的模式相符,一个轶事揭露的是一种方法,而非一次性的错误。

这一检验除了阅读之外不花任何成本:无需新的实验就能表明,每种字体20名普林斯顿学生无法支撑一个宏大的主张。

在重复一个令人惊讶的研究主张之前,将其追溯到原始论文,并检查样本、人群和重复情况;一次被揭露的挑选会玷污讲故事者提出的所有其他主张。

查布里斯将这篇书评扩展为一篇博客文章《为什么马尔科姆·格拉德威尔很重要(以及为什么这很不幸)》。麻省理工学院的奈特科学新闻追踪器放大了这一案例,相关论点传到Hacker News,获得370分和222条评论。格拉德威尔本人的话——一个用研究来增强讲故事效果的故事讲述者,以及书籍对某些读者而言过于简化——被批评者解读为印证。持久的结果是一种被展示的技巧:当一本畅销书引用一项令人惊讶的研究时,检查其样本和重复情况只需几分钟,却可能让整个故事崩塌。

从这里,追溯依据

参考来源

  1. Should we stop believing Malcolm Gladwell? Knight Science Journalism Tracker, MIT · ksj.mit.edu ·
  2. Should we stop believing Malcolm Gladwell? — Hacker News Hacker News · news.ycombinator.com ·