Data Colada a démasqué les données falsifiées sur l'honnêteté d'Ariely grâce à une analyse médico-légale des polices et des arrondis

Une étude publiée en 2012 dans PNAS par Shu, Mazar, Gino, Ariely et Bazerman rapportait une solution remarquablement peu coûteuse contre la malhonnêteté : déplacer l'engagement d'honnêteté en haut d'un formulaire et les gens mentent moins. Dans son expérience de terrain, près de 13 500 clients d'assurance automobile qui signaient en haut déclaraient environ 2 400 miles de plus — 10 % — que ceux qui signaient en bas. Le résultat a été cité plus de 400 fois, enseigné dans les écoles de commerce, adopté par l'assureur Lemonade, testé par des gouvernements au Royaume-Uni, au Guatemala et au Canada, et crédité par l'IRS d'avoir aidé à percevoir 1,6 million de dollars supplémentaires auprès de fournisseurs en un seul trimestre.

Les ennuis ont commencé lorsque l'effet a refusé de se répliquer. Les auteurs originaux se sont joints à des chercheurs extérieurs pour refaire l'expérience de la signature et n'ont trouvé aucune différence ; en 2020, ils ont publié cet échec dans PNAS — en publiant pour la première fois les données originales de 2012, une démarche de transparence encore rare. Joe Simmons, Leif Nelson et Uri Simonsohn, les universitaires derrière le blog Data Colada, ont téléchargé le tableur avec une équipe de chercheurs anonymes et ont commencé à se demander non pas si les statistiques étaient justes, mais si le fichier ressemblait à quelque chose que des gens avaient réellement produit.

Leur audit a trouvé quatre anomalies. Les miles déclarés étaient uniformément répartis de 0 à 50 000 — indiscernables d'un générateur de nombres aléatoires d'Excel. Les relevés de compteur déclarés ne comportaient aucun chiffre rond, alors que les gens arrondissent lorsqu'ils estiment. La moitié des lignes de référence était tapée en Calibri et l'autre en Cambria, chaque ligne en Cambria étant la quasi-jumelle d'une ligne en Calibri toujours supérieure de moins de 1 000 miles ; un million de simulations n'ont jamais produit cela par hasard. Les lignes de référence avaient été dupliquées et légèrement brouillées ; les données expérimentales provenaient d'un générateur de nombres aléatoires — fabriquées « au-delà de l'ombre d'un doute ».

Les preuves ont forcé un règlement de comptes. Les cinq auteurs originaux ont convenu que les données semblaient frauduleuses et ont demandé à PNAS de rétracter l'article ; quatre auteurs ont déclaré n'avoir joué aucun rôle dans la collecte des données, laissant Ariely — le seul auteur en contact avec l'assureur — comme question ouverte. Ariely a nié toute faute et a blâmé son approche en retrait. BuzzFeed News a publié l'enquête le 21 août 2021 ; la Hartford n'a confirmé que l'existence d'un petit projet de 2007-2008 avec Ariely, et qu'elle n'y trouvait ni données ni livrables.

Plutôt que de relancer les statistiques, auditer la couche banale du fichier brut — polices, arrondis, lignes en double et distributions — là où les données fabriquées se trahissent

La fraude est plus facile à cacher dans les statistiques et plus difficile dans la texture quotidienne des données — les polices, les arrondis et les doublons survivent à l'évaluation par les pairs et exposent le générateur.

La décision de l'article de 2020 de publier les données brutes a transformé une affirmation invérifiable en un fichier auditable ; sans cette publication, la fabrication n'aurait pas pu être découverte.

Les tests étaient peu coûteux et publics — ajustements de distribution, comptages de chiffres, répartitions de polices et simulations que tout lecteur pouvait refaire — de sorte que le verdict reposait sur des preuves, non sur l'autorité.

Le succès même du résultat a créé l'incitation à vérifier : une intervention adoptée par des assureurs et des administrations fiscales valait la peine d'être vérifiée une fois qu'elle avait cessé de se répliquer.

Quand un résultat compte, la confiance s'arrête aux données brutes : exiger le fichier, puis vérifier les arrondis, les doublons, les polices et les distributions — fabriquer des chiffres est facile ; les faire paraître humains ne l'est pas.

En quelques jours après la publication de Data Colada en août 2021, les cinq auteurs ont convenu que les données semblaient frauduleuses et ont demandé à PNAS de les rétracter ; l'enquête de BuzzFeed News, mise à jour le 26 août avec la déclaration de la Hartford, a fait de cette affaire un symbole de la crise de réplication. La décennie d'influence de la fraude était déjà consommée : les produits construits sur l'effet de la signature, de l'engagement d'honnêteté de Lemonade aux modifications des formulaires fiscaux gouvernementaux, ont dû être réévalués. La leçon systémique des auteurs tenait : les revues devraient exiger les données brutes, car c'est la publication qui a rendu la fabrication détectable.