Chabris pegou a alegação de Gladwell sobre fontes num estudo de 40 alunos que nunca foi replicado

Em outubro de 2013, o novo livro de Malcolm Gladwell, David and Goliath, abria com uma premissa marcante: enfrentar probabilidades esmagadoras produz grandeza e beleza. Um de seus exemplos, extraído de um estudo de 2007, afirmava que pessoas que liam problemas de raciocínio numa tipografia difícil de ler obtinham pontuação 29 por cento maior — um resultado contraintuitivo com apelo prático imediato.

Christopher Chabris, professor de psicologia que resenhava o livro para o The Wall Street Journal, não discutiu a história; ele abriu o estudo em que ela se baseava. O artigo envolvia 40 pessoas, 20 por tipografia, todas estudantes da Universidade de Princeton — fatos que Gladwell não mencionou. Quando outros pesquisadores tentaram o mesmo teste com quase 300 estudantes numa universidade pública canadense, não conseguiram replicar o efeito. O exemplo principal da tese do livro desmoronou sob inspeção.

A desconstrução se generalizou porque o padrão era familiar. Chabris escreveu que essa falha permeia os escritos de Gladwell: ele é excelente em contar histórias just-so e em selecionar a ciência que as sustenta. Quatro anos antes, a resenha de Steven Pinker no New York Times havia cunhado o Igon Value Problem para um escritor cuja educação sobre um tema consiste em entrevistar um especialista. Até os admiradores admitiam que os fatos vinham em segundo lugar; o próprio Gladwell disse a entrevistadores que era um contador de histórias que busca pesquisas para ampliar a narrativa, e que leitores que acham seus livros simplistas demais não são o público.

O caso é uma verificação transferível. Estatísticas surpreendentes devem ser rastreadas até seu artigo primário, onde tamanho da amostra, população amostrada e histórico de replicação ficam à vista. Quarenta pessoas não podem sustentar uma lei do comportamento humano, e um efeito que não se reproduz com quase 300 não é lei alguma.

Não discuta com a história — abra o estudo citado; tamanho da amostra, quem foi amostrado e se alguém replicou são os indícios que expõem a ciência selecionada a dedo

Um artigo primário responde às duas perguntas que uma recontagem convincente evita: quantas pessoas foram estudadas e quem eram.

Uma replicação fracassada é evidência decisiva de que um efeito não é robusto, independentemente do que o artigo original afirmava.

Como a falha estava no exemplo principal do livro e correspondia a um padrão documentado anos antes, uma anedota expôs um método, e não um erro isolado.

A verificação não custou nada além de leitura: nenhum novo experimento foi necessário para mostrar que 20 estudantes de Princeton por fonte não podem sustentar uma grande alegação.

Antes de repetir uma alegação de pesquisa surpreendente, rastreie-a até o artigo primário e verifique a amostra, a população e as replicações; uma seleção a dedo exposta mancha todas as outras alegações que o contador de histórias faz.

Chabris expandiu a resenha num post de blog, Why Malcolm Gladwell Matters (And Why That's Unfortunate). O Knight Science Journalism Tracker do MIT amplificou o caso, e o argumento chegou ao Hacker News com 370 pontos e 222 comentários. As próprias citações de Gladwell — um contador de histórias que usa pesquisas para ampliar a narrativa, e livros simplistas demais para alguns leitores — foram lidas pelos críticos como confirmação. O resultado duradouro foi uma técnica demonstrada: quando um best-seller cita um estudo surpreendente, verificar sua amostra e suas replicações leva minutos e pode derrubar a história.