Netflix stimmte seinen Recommender auf Bindung ab, nicht auf die Genauigkeit von Sternebewertungen

Die Abonnement-Ökonomie von Netflix steht und fällt mit der Abwanderung: Ein Mitglied, das heute Abend nichts Sehenswertes findet, kündigt irgendwann. Nach dem Wechsel zum Streaming wuchs der Katalog weit über das hinaus, was ein Mitglied durchsuchen konnte, sodass die personalisierte Entdeckung den Großteil des Sehkonsums tragen musste. Im Jahr 2015 veröffentlichten Carlos Gomez-Uribe und Neil Hunt, die Führungskräfte, die bei Netflix die Empfehlungs- und Produktarbeit leiteten, in den ACM Transactions on Management Information Systems die erste vollständige Darstellung des eingesetzten Systems.

Die Darstellung des Systems in dem Aufsatz ist um den Geschäftszweck herum organisiert. Die Personalisierung insgesamt beeinflusst die Auswahl bei etwa 80 % der bei Netflix gestreamten Stunden, indem sie prägt, welche Reihen auf der Startseite erscheinen, wie Titel gereiht werden, welches Artwork einen Titel repräsentiert und sogar wie Suchergebnisse personalisiert werden. Statt auf die Genauigkeit der Bewertungsvorhersage zu optimieren – das Ziel des berühmten Netflix Prize –, bewertete das Team Algorithmusänderungen mit A/B-Tests, die auf Mitgliederbindung und mittelfristiges Engagement ausgerichtet waren, ergänzt durch Offline-Experimente mit historischen Engagement-Daten.

Der Wechsel des Ziels war das stille Genie der Sache. Bewertungsgenauigkeit ist ein Stellvertreterwert; das Abonnement wird Monat für Monat dafür bezahlt, ob die Mitglieder weiterhin Wert finden. Indem Netflix die Bindung zu dem Test machte, den eine Recommender-Änderung bestehen muss, richtete es seine größte Engineering-Anstrengung auf sein Erlösmodell aus, und der Aufsatz von 2015 wurde zur Standardreferenz für den Geschäftswert von Produktionsempfehlungssystemen.

Den Recommender auf Bindung optimieren, nicht auf Bewertungsgenauigkeit

Abwanderung ist die bindende Einschränkung eines Abonnement-Videodienstes, daher ist Bindung – nicht der RMSE der Bewertungen – die Kennzahl, die Empfehlungen tatsächlich bewegen müssen.

A/B-Tests mit echten Mitgliedern schließen die Lücke zwischen Offline-Genauigkeit und Verhalten: Was Mitglieder bewerten und was sie bleiben lässt, sind verschiedene Dinge, wie die Erfahrung mit dem Netflix Prize gezeigt hatte.

Personalisierung verstärkt sich über jede Oberfläche hinweg – Reihen, Reihung, Artwork, Suche –, sodass jeder Eindruck den Dienst maßgeschneidert wirken lässt und den Wert pro Sitzung ohne neue Ausgaben für Inhalte erhöht.

Die Suche als Empfehlungsproblem zu behandeln vereinte das gesamte Entdeckungserlebnis unter einem Optimierungsziel statt unter konkurrierenden Zielen.

Wenn eine Stellvertreterkennzahl das Geschäftsergebnis nicht mehr vorhersagt, richte das System wieder auf das Ergebnis selbst aus: Netflix machte die Bindung, nicht die Bewertungsgenauigkeit, zu dem Test, den jede Recommender-Änderung bestehen muss.

Der Aufsatz von 2015 wurde zu einer der meistzitierten Darstellungen eines Produktionsempfehlungssystems und etablierte „auf die Geschäftskennzahl optimieren“ als Standardpraxis in der Branche. Netflix ging dazu über, das Artwork pro Mitglied zu personalisieren und Geschmacksgemeinschaften zu einem globalen, sprachbewussten Konzept zu machen. Die breitere Branche folgte dem Rahmen von Bindung und Engagement, der später öffentliche Debatten darüber befeuerte, wie stark engagement-optimierte Feeds prägen, was Menschen sehen.