Ken Shirriff, 공개된 순위 산식으로 Hacker News의 숨겨진 감점을 폭로하다

2013년까지 Hacker News는 자사의 순위 산식과 그 배후의 Arc 소스 코드까지 공개했지만, 첫 페이지는 다른 힘이 작용하는 듯이 움직였다. 인기 스토리가 갑자기 사라지고, NSA가 제목에 들어간 항목은 빠르게 가라앉는 듯했으며, 한 스레드가 논쟁적으로 커지면 그 제출물을 죽일 수 있었다. 사용자들은 그림자 감점에 관한 이론을 주고받았지만, 보이지 않는 요인이 존재한다는 것을 입증한 사람은 없었고, 그 크기를 측정한 사람은 더더욱 없었다.

추측하거나 운영진에게 묻는 대신, Ken Shirriff는 첫 페이지 자체를 측정 도구로 삼았다. 그는 사이트의 분당 두 페이지 지침 범위 안에서 /news와 /news2를 1분에 한 번 크롤링하고, Beautiful Soup으로 HTML을 파싱한 뒤, 공개된 산식으로 모든 스토리의 원점수를 다시 계산했다. 어떤 기사가 그 점수가 예측한 것보다 낮은 순위에 있으면, 그는 숨겨진 곱셈형 감점이 있다고 추론했다. 인접한 스토리들이 각 격차를 양쪽에서 감싸므로, 반복된 스냅샷은 잡음이 많은 범위를 경계가 정해진 계수로 바꿔 주었다.

측정 결과, 공개된 코드는 대체로 정확했지만 전부는 아니었다. 첫 페이지 스토리의 약 20%와 두 번째 페이지 스토리의 38%가 감점을 안고 있었다. 0.4 계수는 각 투표를 약 0.3으로 계산되게 하고 스토리를 66% 더 빠르게 떨어뜨렸다. 자동 제목 감점은 NSA가 들어간 모든 것에 적용되었고, 코드상의 20개가 아니라 댓글 40개에서 발동하는 논쟁 감점은 5위 스토리를 1분 안에 22위로 밀어낼 수 있었다.

그 실증은 시스템이 시스템을 설명하는 기사를 감점하면서 도래했다. 첫 페이지에 오른 지 몇 분 만에 그 게시물은 0.2 감점을 받았는데, 그것이 없었다면 5위 근처에 머물렀을 것이고, 실제로는 첫 페이지에서 완전히 밀려났다. 11월 26일 Shirriff는 HN이 투표 담합 탐지기가 잘못 발동했다고 그에게 알렸다고 보고했다. 그 스레드는 920점과 댓글 190개로 커졌고, 작성자는 대략 25,000 페이지뷰를 기록했으며, 이후 편집자 주석에는 HN이 더 이상 NSA 제목 스토리를 감점하지 않는다고 기록되었다.

공개된 산식으로 모든 스토리를 점수화한 뒤, 순위 격차를 측정 가능한 숨겨진 감점으로 읽는다 — 시스템 자체의 출력이 탐침이 된다

결정론적 순위 함수는 어떤 숨겨진 감점이든 가시적인 격차로 바꾸므로, 이상 현상은 일화가 아니라 측정값이 된다.

분 단위 크롤링은 감점이 적용되는 순간을 포착하고, 각 계수의 크기를 인접 점수 사이에서 경계 짓는다.

구체적 사례 연구(Snapchat의 사라짐, MongoDB가 7위에 고정됨)는 보이지 않는 시스템을 외부인이 감사할 수 있게 만들었다.

이 사안의 파장은 실제로 존재했다. 첫 페이지 스토리의 약 20%가 감점을 안고 있었고, 0.4 계수는 각 투표를 0.3으로 계산되게 했다.

플랫폼의 동작이 공개된 사양과 어긋날 때, 논쟁하거나 묻지 말고 격차를 지속적으로 측정하라. 결정론적 산식은 보이지 않는 결정을 누구나 감사할 수 있는 숫자로 바꾼다.

Shirriff 자신의 게시물이 현장 실증이 되었다. 첫 페이지에 오른 지 몇 분 만에 0.2 감점이 그것을 끌어내렸지만, 그것이 없었다면 그 게시물은 약 5위에 올랐을 것이다. 11월 26일 그는 HN이 투표 담합 탐지기가 잘못 발동했다고 그에게 알렸다고 보고했다. Hacker News 스레드는 920점과 댓글 190개로 커졌고, 트래픽은 약 25,000 페이지뷰였다. 이후 편집자 주석에는 HN이 더 이상 NSA 제목 스토리를 감점하지 않는다고 기록되었고, 첫 페이지 스토리의 약 5분의 1이 감점을 안고 있다는 발견은 인기 항목이 조용히 사라지는 이유에 대한 표준 설명이 되었다.