Data Colada, 글꼴과 반올림 포렌식으로 Ariely의 조작된 정직성 데이터를 잡아내다

Shu, Mazar, Gino, Ariely, Bazerman의 2012년 PNAS 연구는 부정직에 대한 놀랍도록 값싼 해법을 보고했다. 정직 서약을 양식 맨 위로 옮기면 사람들이 덜 거짓말한다는 것이었다. 현장 실험에서 맨 위에 서명한 약 13,500명의 자동차 보험 고객은 맨 아래에 서명한 고객보다 약 2,400마일, 즉 10% 더 많은 주행거리를 보고했다. 이 발견은 400회 이상 인용되었고, 경영대학원에서 가르쳐졌으며, 보험사 Lemonade가 채택했고, 영국·과테말라·캐나다 정부가 시험했으며, IRS는 한 분기에 공급업체로부터 160만 달러를 추가로 징수하는 데 도움이 되었다고 그 공을 인정했다.

문제는 그 효과가 재현되기를 거부하면서 시작되었다. 원저자들은 외부인들과 함께 서명 실험을 다시 실행했으나 차이를 발견하지 못했고, 2020년에 그 실패를 PNAS에 게재했다 — 2012년 원본 데이터를 처음으로 공개하는 것이었는데, 이는 당시로서는 여전히 드문 투명성 조치였다. Data Colada 블로그를 운영하는 학자들인 Joe Simmons, Leif Nelson, Uri Simonsohn은 익명 연구자 팀과 함께 그 스프레드시트를 내려받아, 통계가 맞는지가 아니라 그 파일이 사람들이 실제로 만들어냈을 법한 것처럼 보이는지를 묻기 시작했다.

그들의 감사는 네 가지 이상점을 발견했다. 보고된 주행거리는 0에서 50,000까지 균일하게 분포되어 있었다 — Excel 난수 생성기와 구별할 수 없었다. 보고된 주행거리계 판독값에는 어림수(round number)가 없었는데, 사람들은 추정할 때 반올림을 하기 때문이다. 기준선 행의 절반은 Calibri로, 절반은 Cambria로 입력되어 있었고, 각 Cambria 행은 항상 1,000마일 미만 더 높은 Calibri 행의 거의 쌍둥이였으며, 백만 번의 시뮬레이션으로도 우연히 그런 결과가 나오지 않았다. 기준선 행은 복제되고 흔들려 있었으며, 실험 데이터는 난수 생성기에서 나왔다 — '어떤 의심의 여지도 없이' 조작된 것이었다.

그 증거는 결산을 강요했다. 다섯 명의 원저자 모두 데이터가 사기로 보인다는 데 동의하고 PNAS에 논문 철회를 요청했다. 네 명의 저자는 데이터 수집에 관여하지 않았다고 밝혔고, 보험사와 연락한 유일한 저자인 Ariely가 미해결의 문제로 남았다. Ariely는 잘못을 부인하며 자신의 손을 떼는 접근 방식을 탓했다. BuzzFeed News는 2021년 8월 21일 그 조사를 보도했고, Hartford는 Ariely와의 2007–2008년 소규모 프로젝트가 존재했다는 것과 그로부터 어떤 데이터나 결과물도 찾을 수 없었다는 것만을 확인했다.

통계를 다시 돌리는 대신, 조작된 데이터가 스스로를 드러내는 곳인 원본 파일의 평범한 층위 — 글꼴, 반올림, 중복 행, 분포 — 를 감사하라

사기는 통계 속에 숨기기가 가장 쉽고, 데이터의 일상적 질감 속에 숨기기가 가장 어렵다 — 글꼴, 반올림, 중복은 동료 심사를 통과해 살아남아 생성기를 드러낸다.

2020년 논문이 원본 데이터를 게시하기로 한 결정은 검증 불가능한 주장을 감사 가능한 파일로 바꾸었다. 게시가 없었다면 그 조작은 애초에 발견될 수 없었을 것이다.

그 검사들은 값싸고 공개적이었다 — 분포 적합, 자릿수 세기, 글꼴 분할, 시뮬레이션은 어떤 독자라도 다시 돌릴 수 있었다 — 그래서 판결은 권위가 아니라 증거에 근거했다.

그 발견 자체의 성공이 검증할 유인을 만들었다. 보험사와 세무 기관이 채택한 개입은 재현이 멈추자 검증할 가치가 생겼다.

결과가 중요할 때, 신뢰는 원본 데이터에서 끝난다. 파일을 요구하고, 반올림·중복·글꼴·분포를 확인하라 — 숫자를 조작하는 것은 쉽지만, 그것을 사람이 만든 것처럼 보이게 하는 것은 아니다.

2021년 8월 Data Colada 게시물이 나온 지 며칠 만에, 다섯 명의 저자 모두 데이터가 사기로 보인다는 데 동의하고 PNAS에 철회를 요청했다. Hartford의 성명으로 8월 26일에 갱신된 BuzzFeed News의 조사는 이 사건을 재현 위기의 상징으로 만들었다. 그 사기의 10년에 걸친 영향력은 이미 소진되어 있었다. Lemonade의 정직 서약부터 정부 세금 양식 변경에 이르기까지 서명 효과에 기반해 만들어진 제품들은 재평가되어야 했다. 저자들의 시스템적 교훈은 여전히 유효했다. 학술지는 원본 데이터를 요구해야 한다. 게시가 바로 그 조작을 애초에 잡아낼 수 있게 만든 것이기 때문이다.