Netflix a calibré son système de recommandation sur la rétention, et non sur l'exactitude des notes par étoiles

L'économie de l'abonnement chez Netflix repose entièrement sur le désabonnement : un membre qui ne trouve rien qui vaille la peine d'être regardé ce soir finit par résilier. Après le passage au streaming, le catalogue est devenu bien trop vaste pour qu'un membre puisse le parcourir, si bien que la découverte personnalisée a dû porter l'essentiel de la consommation. En 2015, Carlos Gomez-Uribe et Neil Hunt, les dirigeants responsables des recommandations et du produit chez Netflix, ont publié dans ACM Transactions on Management Information Systems le premier compte rendu complet du système déployé.

L'article décrit le système en l'organisant autour de sa finalité commerciale. La personnalisation influence au total le choix pour environ 80 % des heures diffusées sur Netflix, en déterminant quelles rangées apparaissent sur la page d'accueil, comment les titres sont classés, quelle illustration représente un titre et même comment les résultats de recherche sont personnalisés. Plutôt que d'optimiser l'exactitude de la prédiction des notes — l'objectif du célèbre Netflix Prize —, l'équipe évaluait les modifications d'algorithme par des tests A/B centrés sur la rétention des membres et l'engagement à moyen terme, complétés par des expérimentations hors ligne sur les données d'engagement historiques.

Le changement d'objectif fut le génie discret de l'opération. L'exactitude des notes n'est qu'un indicateur indirect ; l'abonnement se paie mois après mois selon que les membres continuent ou non à trouver de la valeur. En faisant de la rétention le test que toute modification du système de recommandation devait réussir, Netflix a aligné son plus gros effort d'ingénierie sur son modèle de revenus, et l'article de 2015 est devenu la référence standard pour la valeur commerciale des systèmes de recommandation en production.

Optimiser le système de recommandation pour la rétention, et non pour l'exactitude des notes

Le désabonnement est la contrainte déterminante d'un service vidéo par abonnement ; c'est donc la rétention — et non l'erreur quadratique moyenne des notes — qui est le chiffre que les recommandations doivent réellement faire bouger.

Les tests A/B menés sur de vrais membres comblent l'écart entre l'exactitude hors ligne et le comportement réel : ce que les membres notent et ce qui les fait rester sont deux choses différentes, comme l'expérience du Netflix Prize l'avait démontré.

La personnalisation se cumule sur chaque surface — rangées, classement, illustrations, recherche — si bien que chaque impression donne au service une impression de sur-mesure, augmentant la valeur par session sans nouvelle dépense de contenu.

Traiter la recherche comme un problème de recommandation a unifié toute l'expérience de découverte sous une seule cible d'optimisation au lieu d'objectifs concurrents.

Lorsqu'une mesure indirecte cesse de prédire le résultat commercial, il faut réorienter le système vers le résultat lui-même : Netflix a fait de la rétention, et non de l'exactitude des notes, le test que chaque modification du système de recommandation doit réussir.

L'article de 2015 est devenu l'un des comptes rendus les plus cités d'un système de recommandation en production et a établi « optimiser pour la mesure commerciale » comme pratique standard dans le secteur. Netflix a ensuite personnalisé les illustrations par membre et fait des communautés de goûts un concept mondial et sensible à la langue. Le secteur dans son ensemble a suivi le cadre de la rétention et de l'engagement, qui a ensuite alimenté les débats publics sur la manière dont les fils d'actualité fortement optimisés pour l'engagement façonnent ce que les gens regardent.