차브리스, 글래드웰의 서체 주장을 40명 연구에서 잡아내다 — 그 연구는 재현된 적 없다

2013년 10월, 말콤 글래드웰의 새 책 《다윗과 골리앗》은 압도적인 역경에 맞서는 것이 위대함과 아름다움을 낳는다는 인상적인 전제로 시작했다. 그 예시 중 하나는 2007년 연구에서 가져온 것으로, 읽기 어려운 서체로 추론 문제를 읽은 사람들이 29퍼센트 더 높은 점수를 받았다고 주장했다. 직관에 반하면서도 즉각적인 실용적 매력이 있는 결과였다.

《월스트리트 저널》에 이 책의 서평을 쓴 심리학 교수 크리스토퍼 차브리스는 그 이야기와 논쟁하지 않았다. 대신 그 이야기가 기대고 있는 연구를 펼쳤다. 그 논문은 40명을 대상으로 했고, 서체당 20명이었으며, 모두 프린스턴 대학 학생이었다. 글래드웰이 언급하지 않은 사실들이었다. 다른 연구자들이 캐나다의 한 공립 대학에서 거의 300명의 학생을 대상으로 같은 시험을 시도했을 때, 그들은 그 효과를 재현할 수 없었다. 책의 논지를 대표하는 예시는 검증 과정에서 무너졌다.

이 해체가 일반화될 수 있었던 것은 그 패턴이 낯익었기 때문이다. 차브리스는 이 결함이 글래드웰의 글 전반에 스며 있다고 썼다. 그는 그럴듯한 이야기를 들려주고 과학을 체리피킹해 뒷받침하는 데 탁월하다는 것이다. 4년 전 스티븐 핑커의 《뉴욕 타임스》 서평은 어떤 주제에 대한 작가의 교육이 전문가 인터뷰로 이루어진 경우를 두고 '아이건 밸류 문제'라는 말을 만들어냈다. 열광적인 독자들조차 사실은 부차적이라고 인정했다. 글래드웰 자신도 인터뷰어들에게 자신은 이야기꾼이며 연구를 통해 이야기하기를 보강하는 사람이고, 자신의 책이 지나치게 단순화되었다고 느끼는 독자들은 자신의 독자가 아니라고 말했다.

이 사례는 전이 가능한 점검법이다. 놀라운 통계는 원 논문까지 추적해야 하며, 거기에는 표본 크기, 표본 집단, 재현 이력이 그대로 드러나 있다. 40명은 인간 행동의 법칙을 뒷받침할 수 없고, 거의 300명으로도 재현되지 않는 효과는 법칙이 아니다.

이야기와 논쟁하지 말고 인용된 연구를 펼쳐라. 표본 크기, 누가 표본이 되었는지, 누군가 재현했는지가 체리피킹된 과학을 드러내는 단서다

원 논문은 설득력 있는 재구성이 회피하는 두 가지 질문에 답한다. 얼마나 많은 사람이 연구되었는지, 그리고 그들이 누구였는지.

재현 실패는 원 논문이 무엇을 주장했든 그 효과가 견고하지 않다는 결정적 증거다.

그 결함이 책의 대표 예시에 있었고 수년 전에 기록된 패턴과 일치했기 때문에, 하나의 일화가 일회성 오류가 아니라 하나의 방법을 드러냈다.

그 점검은 읽는 것 외에는 비용이 들지 않았다. 서체당 프린스턴 학생 20명이 거대한 주장을 뒷받침할 수 없다는 것을 보여주는 데 새로운 실험이 필요하지 않았다.

놀라운 연구 주장을 반복하기 전에, 그것을 원 논문까지 추적하고 표본, 모집단, 재현 여부를 확인하라. 한 번 드러난 체리피킹은 이야기꾼이 하는 다른 모든 주장을 오염시킨다.

차브리스는 그 서평을 블로그 글 《말콤 글래드웰이 중요한 이유(그리고 그것이 불행한 이유)》로 확장했다. MIT의 나이트 과학 저널리즘 트래커가 이 사례를 확산시켰고, 그 논쟁은 해커 뉴스에서 370점과 222개의 댓글로 이어졌다. 글래드웰 자신의 발언들 — 연구를 이야기하기를 보강하는 데 사용하는 이야기꾼이라는 것, 그리고 일부 독자에게는 지나치게 단순화된 책이라는 것 — 은 비평가들에게 확인으로 읽혔다. 오래 남은 결과는 입증된 기법이었다. 베스트셀러가 놀라운 연구를 인용할 때, 그 표본과 재현 여부를 확인하는 데는 몇 분이면 충분하며 그 이야기를 무너뜨릴 수 있다.