Ken Shirriff expôs as penalidades ocultas do Hacker News usando sua fórmula pública de ranking

Em 2013, o Hacker News já havia publicado sua fórmula de ranking e até o código-fonte Arc por trás dela, mas a página inicial se comportava como se outras forças estivessem em ação: histórias populares sumiam de repente, itens com "NSA" no título pareciam afundar rápido, e uma thread podia matar um envio assim que ficava conflituosa. Os usuários trocavam teorias sobre penalidades ocultas, mas ninguém havia provado que fatores invisíveis existiam, muito menos os medido.

Em vez de especular ou perguntar aos moderadores, Ken Shirriff tratou a página inicial como o instrumento de medição. Ele rastreou /news e /news2 uma vez por minuto, dentro da diretriz do site de duas páginas por minuto, analisou o HTML com Beautiful Soup e recalculou a pontuação bruta de cada história com a fórmula publicada. Onde quer que um artigo ficasse em posição inferior à que sua pontuação previa, ele inferiu uma penalidade multiplicativa oculta; como as histórias vizinhas delimitam cada lacuna, instantâneos repetidos transformaram um intervalo ruidoso em um fator limitado.

As medições mostraram que o código publicado era em grande parte preciso, mas estava longe de contar a história toda: cerca de 20% das histórias da primeira página e 38% das histórias da segunda página carregavam penalidades. Um fator de 0,4 fazia cada voto contar como cerca de 0,3 e derrubava uma história 66% mais rápido; uma penalidade automática de título atingia qualquer coisa com "NSA"; e uma penalidade por controvérsia que entrava em vigor aos 40 comentários, e não aos 20 do código, podia empurrar uma história da posição 5 para a 22 em um minuto.

A demonstração chegou quando o sistema penalizou o artigo que descrevia o sistema: minutos depois de chegar à página inicial, o post recebeu uma penalidade de 0,2 que o teria deixado perto da posição 5 e, em vez disso, o manteve fora da página inicial por completo; em 26 de novembro, Shirriff relatou que o HN lhe disse que o detector de anéis de votação havia disparado erroneamente. A thread cresceu para 920 pontos e 190 comentários, o autor registrou aproximadamente 25.000 visualizações de página, e uma nota posterior do editor registrou que o HN não penalizava mais histórias com "NSA" no título.

Pontuar cada história com a fórmula pública e então ler as lacunas de posição como penalidades ocultas mensuráveis — a própria saída do sistema se torna a sonda

Uma função de ranking determinística transforma qualquer penalidade oculta em uma lacuna visível, de modo que as anomalias são medições, não anedotas.

O rastreamento minuto a minuto captura as penalidades no momento em que são aplicadas e delimita o tamanho de cada fator entre pontuações vizinhas.

Estudos de caso concretos (o Snapchat sumindo, o MongoDB preso na posição 7) tornaram um sistema invisível auditável por pessoas de fora.

O que estava em jogo era real: cerca de 20% das histórias da primeira página carregavam uma penalidade, e um fator de 0,4 deixava cada voto contando como 0,3.

Quando o comportamento de uma plataforma diverge de sua especificação publicada, não discuta nem pergunte — meça a lacuna continuamente; uma fórmula determinística transforma decisões invisíveis em números que qualquer pessoa pode auditar.

O próprio post de Shirriff tornou-se a demonstração ao vivo: minutos depois de chegar à página inicial, uma penalidade de 0,2 o derrubou, embora sem ela o post teria ficado por volta da posição 5; em 26 de novembro, ele relatou que o HN lhe disse que o detector de anéis de votação havia disparado erroneamente. A thread do Hacker News cresceu para 920 pontos e 190 comentários, com tráfego em torno de 25.000 visualizações de página. Uma nota do editor registrou posteriormente que o HN não penalizava mais histórias com "NSA" no título, e a constatação de que cerca de um quinto das histórias da primeira página carrega penalidades tornou-se a explicação padrão para o motivo pelo qual itens populares somem silenciosamente.