Ken Shirriff reveló las penalizaciones ocultas de Hacker News usando su fórmula pública de clasificación

Para 2013 Hacker News había publicado su fórmula de clasificación e incluso el código fuente de Arc que la sustentaba, pero la portada se comportaba como si actuaran otras fuerzas: historias populares desaparecían de repente, los elementos con «NSA» en el título parecían hundirse rápido, y un hilo podía matar un envío en cuanto se volvía polémico. Los usuarios intercambiaban teorías sobre penalizaciones en la sombra, pero nadie había demostrado que existieran factores invisibles, y mucho menos los había medido.

En lugar de especular o preguntar a los moderadores, Ken Shirriff trató la portada como el instrumento de medición. Rastreó /news y /news2 una vez por minuto, dentro de la directriz del sitio de dos páginas por minuto, analizó el HTML con Beautiful Soup y recalculó la puntuación bruta de cada historia con la fórmula publicada. Dondequiera que un artículo se clasificara por debajo de lo que predecía su puntuación, infirió una penalización multiplicativa oculta; dado que las historias vecinas delimitan cada diferencia, las instantáneas repetidas convirtieron un rango ruidoso en un factor acotado.

Las mediciones mostraron que el código publicado era en su mayoría exacto pero estaba lejos de contar toda la historia: alrededor del 20 % de las historias de la portada y el 38 % de las de la segunda página llevaban penalizaciones. Un factor de .4 hacía que cada voto contara como aproximadamente .3 y hacía caer una historia un 66 % más rápido; una penalización automática por título afectaba a cualquier cosa con «NSA»; y una penalización por controversia que se activaba a los 40 comentarios, no a los 20 del código, podía empujar una historia del puesto n.º 5 al n.º 22 en un minuto.

La demostración llegó cuando el sistema penalizó el artículo que describía el sistema: minutos después de llegar a la portada, la publicación recibió una penalización de .2 que la habría dejado cerca del puesto n.º 5 y, en cambio, la mantuvo fuera de la portada por completo; el 26 de noviembre Shirriff informó que HN le dijo que el detector de anillos de votación se había activado erróneamente. El hilo creció hasta 920 puntos y 190 comentarios, el autor registró aproximadamente 25 000 visitas a la página, y una nota posterior del editor registró que HN ya no penalizaba las historias con «NSA» en el título.

Puntuar cada historia con la fórmula pública y luego leer las diferencias de posición como penalizaciones ocultas medibles: la propia salida del sistema se convierte en la sonda

Una función de clasificación determinista convierte cualquier penalización oculta en una diferencia visible, de modo que las anomalías son mediciones, no anécdotas.

El rastreo minuto a minuto capta las penalizaciones en el momento en que se aplican y acota el tamaño de cada factor entre las puntuaciones vecinas.

Estudios de caso concretos (Snapchat desapareciendo, MongoDB atascado en el n.º 7) hicieron que un sistema invisible fuera auditable por personas externas.

Lo que estaba en juego era real: alrededor del 20 % de las historias de la portada llevaban una penalización, y un factor de .4 dejaba que cada voto contara como .3.

Cuando el comportamiento de una plataforma diverge de su especificación publicada, no discutas ni preguntes: mide la diferencia de forma continua; una fórmula determinista convierte las decisiones invisibles en números que cualquiera puede auditar.

La propia publicación de Shirriff se convirtió en la demostración en vivo: minutos después de llegar a la portada, una penalización de .2 la hizo caer, aunque sin ella la publicación se habría clasificado cerca del puesto n.º 5; el 26 de noviembre informó que HN le dijo que el detector de anillos de votación se había activado erróneamente. El hilo de Hacker News creció hasta 920 puntos y 190 comentarios, con un tráfico de alrededor de 25 000 visitas a la página. Una nota posterior del editor registró que HN ya no penalizaba las historias con «NSA» en el título, y el hallazgo de que alrededor de una quinta parte de las historias de la portada llevan penalizaciones se convirtió en la explicación estándar de por qué los elementos populares desaparecen silenciosamente.