Ken Shirriff deckte mit der öffentlichen Ranking-Formel von Hacker News versteckte Strafen auf

Bis 2013 hatte Hacker News seine Ranking-Formel und sogar den dahinterstehenden Arc-Quellcode veröffentlicht, doch die Startseite verhielt sich, als wären andere Kräfte am Werk: Beliebte Beiträge verschwanden plötzlich, Einträge mit „NSA“ im Titel schienen schnell abzusinken, und ein Thread konnte eine Einsendung zunichtemachen, sobald er strittig wurde. Nutzer tauschten Theorien über Schattenstrafen aus, aber niemand hatte bewiesen, dass unsichtbare Faktoren existierten, geschweige denn sie gemessen.

Statt zu spekulieren oder die Moderatoren zu fragen, behandelte Ken Shirriff die Startseite als Messinstrument. Er crawte /news und /news2 einmal pro Minute, im Rahmen der Richtlinie der Seite von zwei Seiten pro Minute, parste das HTML mit Beautiful Soup und berechnete für jeden Beitrag die Rohpunktzahl mit der veröffentlichten Formel neu. Wo immer ein Artikel niedriger rangierte, als seine Punktzahl vorhersagte, schloss er auf eine versteckte multiplikative Strafe; da benachbarte Beiträge jede Lücke eingrenzen, verwandelten wiederholte Momentaufnahmen eine verrauschte Spanne in einen begrenzten Faktor.

Die Messungen zeigten, dass der veröffentlichte Code weitgehend korrekt, aber bei Weitem nicht die ganze Geschichte war: Etwa 20 % der Beiträge auf der ersten Seite und 38 % der Beiträge auf der zweiten Seite trugen Strafen. Ein Faktor von .4 ließ jede Stimme etwa als .3 zählen und ließ einen Beitrag 66 % schneller absinken; eine automatische Titelstrafe traf alles mit „NSA“; und eine Kontroversenstrafe, die bei 40 Kommentaren einsetzte, nicht bei den 20 im Code, konnte einen Beitrag von Platz 5 innerhalb einer Minute auf Platz 22 drücken.

Die Demonstration kam, als das System den Artikel bestrafte, der das System beschrieb: Minuten nachdem er die Startseite erreicht hatte, erhielt der Beitrag eine Strafe von .2, die ihn nahe Platz 5 belassen hätte und ihn stattdessen vollständig von der Startseite fernhielt; am 26. November berichtete Shirriff, HN habe ihm mitgeteilt, der Detektor für Abstimmungsringe habe fälschlich ausgelöst. Der Thread wuchs auf 920 Punkte und 190 Kommentare, der Autor verzeichnete rund 25.000 Seitenaufrufe, und eine spätere Editor's Note hielt fest, dass HN Beiträge mit „NSA“ im Titel nicht mehr bestrafte.

Jeden Beitrag mit der öffentlichen Formel bewerten und dann Ranglücken als messbare versteckte Strafen lesen — die eigene Ausgabe des Systems wird zur Sonde

Eine deterministische Rangfunktion verwandelt jede versteckte Strafe in eine sichtbare Lücke, sodass Anomalien Messungen sind, keine Anekdoten.

Minütliches Crawling erfasst Strafen in dem Moment, in dem sie greifen, und grenzt die Größe jedes Faktors zwischen benachbarten Punktzahlen ein.

Konkrete Fallstudien (Snapchat verschwindet, MongoDB bleibt auf Platz 7 hängen) machten ein unsichtbares System für Außenstehende überprüfbar.

Es stand wirklich etwas auf dem Spiel: Etwa 20 % der Beiträge auf der ersten Seite trugen eine Strafe, und ein Faktor von .4 ließ jede Stimme als .3 zählen.

Wenn das Verhalten einer Plattform von ihrer veröffentlichten Spezifikation abweicht, nicht diskutieren oder fragen — die Lücke kontinuierlich messen; eine deterministische Formel verwandelt unsichtbare Entscheidungen in Zahlen, die jeder überprüfen kann.

Shirriffs eigener Beitrag wurde zur Live-Demonstration: Minuten nachdem er die Startseite erreicht hatte, drückte ihn eine Strafe von .2 nach unten, obwohl der Beitrag ohne sie etwa auf Platz 5 rangiert hätte; am 26. November berichtete er, HN habe ihm mitgeteilt, der Detektor für Abstimmungsringe habe fälschlich ausgelöst. Der Hacker-News-Thread wuchs auf 920 Punkte und 190 Kommentare, bei einem Traffic von rund 25.000 Seitenaufrufen. Eine spätere Editor's Note hielt fest, dass HN Beiträge mit „NSA“ im Titel nicht mehr bestrafte, und die Erkenntnis, dass etwa ein Fünftel der Beiträge auf der ersten Seite Strafen trägt, wurde zur Standarderklärung dafür, warum beliebte Einträge still verschwinden.