Ken Shirriff a mis au jour les pénalités cachées de Hacker News à l'aide de sa formule de classement publique

En 2013, Hacker News avait publié sa formule de classement et même le code source Arc qui la sous-tend, mais la page d'accueil se comportait comme si d'autres forces étaient à l'œuvre : des articles populaires disparaissaient soudainement, les éléments dont le titre contenait « NSA » semblaient couler rapidement, et un fil de discussion pouvait faire couler une soumission dès qu'il devenait conflictuel. Les utilisateurs échangeaient des théories sur des pénalités occultes, mais personne n'avait prouvé l'existence de facteurs invisibles, encore moins mesuré ceux-ci.

Plutôt que de spéculer ou d'interroger les modérateurs, Ken Shirriff a traité la page d'accueil comme l'instrument de mesure. Il a exploré /news et /news2 une fois par minute, dans la limite des deux pages par minute recommandée par le site, a analysé le HTML avec Beautiful Soup et a recalculé le score brut de chaque article avec la formule publiée. Partout où un article était classé plus bas que ne le prédisait son score, il en déduisait une pénalité multiplicative cachée ; comme les articles voisins encadrent chaque écart, des instantanés répétés ont transformé une fourchette bruitée en un facteur borné.

Les mesures ont montré que le code publié était en grande partie exact mais loin de tout expliquer : environ 20 % des articles de la première page et 38 % des articles de la deuxième page portaient des pénalités. Un facteur de 0,4 faisait compter chaque vote pour environ 0,3 et faisait chuter un article 66 % plus vite ; une pénalité automatique sur le titre frappait tout ce qui contenait « NSA » ; et une pénalité de controverse qui s'activait à 40 commentaires, et non à 20 comme dans le code, pouvait faire passer un article de la 5e à la 22e place en une minute.

La démonstration est arrivée lorsque le système a pénalisé l'article qui décrivait le système : quelques minutes après avoir atteint la page d'accueil, le billet a subi une pénalité de 0,2 qui l'aurait laissé près de la 5e place et l'a au contraire maintenu entièrement hors de la page d'accueil ; le 26 novembre, Shirriff a rapporté que HN lui avait dit que le détecteur de réseaux de votes s'était déclenché par erreur. Le fil a atteint 920 points et 190 commentaires, l'auteur a enregistré environ 25 000 pages vues, et une note d'éditeur ultérieure a consigné que HN ne pénalisait plus les articles dont le titre contenait « NSA ».

Noter chaque article avec la formule publique, puis lire les écarts de rang comme des pénalités cachées mesurables — la production du système devient elle-même la sonde

Une fonction de rang déterministe transforme toute pénalité cachée en un écart visible, de sorte que les anomalies sont des mesures, non des anecdotes.

L'exploration minute par minute saisit les pénalités au moment où elles s'appliquent et encadre la taille de chaque facteur entre les scores voisins.

Des études de cas concrètes (la disparition de Snapchat, MongoDB bloqué à la 7e place) ont rendu un système invisible auditable par des tiers.

Les enjeux étaient réels : environ 20 % des articles de la première page portaient une pénalité, et un facteur de 0,4 faisait compter chaque vote pour 0,3.

Lorsque le comportement d'une plateforme diverge de ses spécifications publiées, ne discutez pas et ne demandez pas — mesurez l'écart en continu ; une formule déterministe transforme des décisions invisibles en chiffres que chacun peut auditer.

Le propre billet de Shirriff est devenu la démonstration en direct : quelques minutes après avoir atteint la page d'accueil, une pénalité de 0,2 l'a fait chuter, alors que sans elle le billet se serait classé autour de la 5e place ; le 26 novembre, il a rapporté que HN lui avait dit que le détecteur de réseaux de votes s'était déclenché par erreur. Le fil Hacker News a atteint 920 points et 190 commentaires, avec un trafic d'environ 25 000 pages vues. Une note d'éditeur a ensuite consigné que HN ne pénalisait plus les articles dont le titre contenait « NSA », et la constatation qu'environ un cinquième des articles de la première page portent des pénalités est devenue l'explication standard de la disparition discrète d'éléments populaires.