넷플릭스, 자사 알고리즘을 앞지르기 위해 외부 인력에 비용 지불

2006년까지 넷플릭스의 DVD 우편 배송 추천 엔진인 시네매치는 사업의 핵심이었다. 더 나은 추천은 고객이 계속 좋아하는 영화를 찾고 구독을 유지하게 했지만, 넷플릭스 자체 데이터 과학 팀이 계속 연구했음에도 알고리즘의 정확도는 정체되어 있었다.

넷플릭스는 내부 팀을 계속 확장하는 대신 다른 지렛대를 고려했다. 즉, 자사의 실제 학습 데이터, 곧 익명 처리된 실제 사용자 평점을 자사가 고용할 수 있는 것보다 훨씬 많은 연구자에게 공개하고, 명확히 정의된 기준을 넘어선 결과에만 비용을 지불하며, 아무도 성공하지 못하면 아무것도 지불할 의무가 없도록 하는 것이었다.

익명 처리된 실제 평점을 공개하고 10% 정확도 향상에 100만 달러를 제시하여 수천 개의 외부 팀이 경쟁하게 하고 성공 시에만 비용을 지불했다.

실제 데이터를 공개하자 4만 개 이상의 팀이 참여했으며, 이는 어떤 내부 팀보다도 훨씬 다양했다.

상금은 명확한 벤치마크를 넘어설 때만 지급되므로 넷플릭스는 성공에만 비용을 지불했다.

연례 진전 상은 점진적 개선을 드러내어 넷플릭스가 개선 사항을 일찍 배포할 수 있게 했다.

상금 비용은 3년 동안 동등한 인재를 사내에서 고용하는 것보다 훨씬 적었다.

내부 연구개발이 정체될 때 데이터를 공개하고 벤치마크를 넘어선 결과에만 비용을 지불하여 고정 비용을 조건부 비용으로 전환하라.

180개국 이상에서 4만 개 이상의 팀이 3년 넘게 참가했으며, 넷플릭스는 최종 우승자가 발표되기 훨씬 전부터 연례 진전 상 순위표의 점진적 개선을 자사 운영 알고리즘에 반영했다. 2009년, 벨코어의 프래그매틱 카오스라는 이름의 통합 팀이 10% 기준을 넘어 100만 달러 상금을 받았다. 이는 3년 동안 동등한 수준의 머신러닝 인재를 사내에서 모집하는 데 들었을 비용의 일부에 불과했으며, 넷플릭스는 대회 기간 동안 정확도 개선의 상당 부분을 이미 무료로 확보한 상태였다.