Chabris pilló la afirmación de Gladwell sobre la tipografía con un estudio de 40 estudiantes que nunca se replicó

En octubre de 2013, el nuevo libro de Malcolm Gladwell, David y Goliat, se abría con una premisa llamativa: enfrentarse a adversidades abrumadoras produce grandeza y belleza. Uno de sus ejemplos, extraído de un estudio de 2007, afirmaba que las personas que leían problemas de razonamiento con una tipografía difícil de leer obtenían una puntuación un 29 por ciento más alta, un resultado contraintuitivo con un atractivo práctico inmediato.

Christopher Chabris, profesor de psicología que reseñaba el libro para The Wall Street Journal, no discutió la historia; abrió el estudio en el que se basaba. El artículo incluía a 40 personas, 20 por tipografía, todas estudiantes de la Universidad de Princeton, datos que Gladwell no mencionó. Cuando otros investigadores probaron la misma prueba con casi 300 estudiantes en una universidad pública canadiense, no pudieron replicar el efecto. El ejemplo insignia de la tesis del libro se derrumbó al examinarlo.

La deconstrucción se generalizó porque el patrón era familiar. Chabris escribió que este defecto impregna los escritos de Gladwell: destaca en contar historias just-so y en seleccionar la ciencia que las respalde. Cuatro años antes, la reseña de Steven Pinker en The New York Times había acuñado el «Igon Value Problem» para un escritor cuya formación sobre un tema consiste en entrevistar a un experto. Incluso sus admiradores concedían que los hechos quedaban en segundo plano; el propio Gladwell dijo a los entrevistadores que era un narrador que recurre a la investigación para aumentar la narración, y que los lectores que encuentran sus libros simplificados en exceso no son su público.

El caso es una comprobación transferible. Las estadísticas sorprendentes deberían rastrearse hasta su artículo primario, donde el tamaño de la muestra, la población muestreada y el historial de replicación están a la vista. Cuarenta personas no pueden sostener una ley del comportamiento humano, y un efecto que no se reproduce con casi 300 no es una ley en absoluto.

No discutas la historia: abre el estudio citado; el tamaño de la muestra, quiénes fueron muestreados y si alguien lo replicó son las señales que exponen la ciencia seleccionada a conveniencia

Un artículo primario responde a las dos preguntas que un relato convincente esquiva: cuántas personas se estudiaron y quiénes eran.

Una replicación fallida es prueba decisiva de que un efecto no es robusto, independientemente de lo que afirmara el artículo original.

Como el defecto residía en el ejemplo insignia del libro y coincidía con un patrón documentado años antes, una sola anécdota expuso un método en lugar de un error aislado.

La comprobación no costó más que leer: no se necesitó ningún experimento nuevo para mostrar que 20 estudiantes de Princeton por tipografía no pueden sostener una gran afirmación.

Antes de repetir una afirmación sorprendente de una investigación, rastréala hasta el artículo primario y comprueba la muestra, la población y las replicaciones; una selección a conveniencia expuesta mancha todas las demás afirmaciones que hace el narrador.

Chabris amplió la reseña en una entrada de blog, Why Malcolm Gladwell Matters (And Why That's Unfortunate). El Knight Science Journalism Tracker del MIT amplificó el caso, y el argumento llegó a Hacker News con 370 puntos y 222 comentarios. Las propias citas de Gladwell —un narrador que usa la investigación para aumentar la narración, y libros simplificados en exceso para algunos lectores— fueron leídas por los críticos como una confirmación. El resultado duradero fue una técnica demostrada: cuando un superventas cita un estudio sorprendente, comprobar su muestra y sus replicaciones lleva minutos y puede hacer que la historia se derrumbe.