Netflix zahlte Außenstehenden dafür, den eigenen Algorithmus zu schlagen

Bis 2006 war Cinematch, die Empfehlungs-Engine von Netflix für den DVD-Versand per Post, zentral für das Geschäft – bessere Empfehlungen bedeuteten, dass Kunden weiterhin Filme fanden, die ihnen gefielen, und weiterhin abonnierten –, doch die Genauigkeit des Algorithmus war trotz der fortgesetzten Arbeit des eigenen Data-Science-Teams von Netflix stagniert.

Statt sein internes Team weiter zu vergrößern, erwog Netflix einen anderen Hebel: die tatsächlichen Trainingsdaten – echte, anonymisierte Nutzerbewertungen – weit mehr Forschern vorzulegen, als es je hätte beschäftigen können, und nur für ein Ergebnis zu zahlen, das eine klar definierte Messlatte übertraf, ohne Verpflichtung, irgendetwas zu zahlen, falls niemand erfolgreich war.

Es veröffentlichte echte anonymisierte Bewertungen und bot 1 Mio. US-Dollar für einen Genauigkeitsgewinn von 10 %, ließ Tausende externe Teams gegeneinander antreten und zahlte nur bei Erfolg.

Die Veröffentlichung echter Daten zog über 40.000 Teams an, weit vielfältiger als jedes interne Team.

Der Preis war an das Übertreffen eines klaren Maßstabs gebunden, sodass Netflix nur für Erfolg zahlte.

Jährliche Fortschrittspreise machten schrittweise Verbesserungen sichtbar, sodass Netflix Verbesserungen früh einsetzen konnte.

Die Kosten des Preises waren weit geringer als die Einstellung gleichwertiger Talente im eigenen Haus über drei Jahre.

Wenn die interne Forschung und Entwicklung stagniert, öffne deine Daten und zahle nur für Ergebnisse, die deinen Maßstab übertreffen, und verwandle so feste Kosten in erfolgsabhängige.

Mehr als 40.000 Teams aus über 180 Ländern nahmen über drei Jahre hinweg teil, und Netflix übernahm schrittweise Verbesserungen aus der Rangliste des jährlichen Fortschrittspreises in seinen Produktionsalgorithmus, lange bevor ein endgültiger Sieger gekürt wurde. Im Jahr 2009 überschritt ein fusioniertes Team namens BellKor's Pragmatic Chaos die 10-%-Schwelle und gewann den Preis von 1.000.000 US-Dollar – ein Bruchteil dessen, was es gekostet hätte, eine vergleichbare Konzentration von Machine-Learning-Talenten drei Jahre lang im eigenen Haus anzuwerben, und Netflix hatte während des Wettbewerbs selbst bereits einen Großteil der Genauigkeitsverbesserung kostenlos erzielt.