Netflix a payé des externes pour battre son propre algorithme

En 2006, le moteur de recommandation de DVD par courrier de Netflix, Cinematch, était au cœur de l'activité — de meilleures recommandations signifiaient que les clients continuaient à trouver des films qui leur plaisaient et restaient abonnés — mais la précision de l'algorithme avait atteint un palier, malgré le travail continu de l'équipe de science des données de Netflix.

Plutôt que de continuer à agrandir son équipe interne, Netflix a envisagé un autre levier : exposer ses données d'entraînement réelles — de vraies notes d'utilisateurs, anonymisées — à bien plus de chercheurs qu'elle ne pourrait jamais en employer, et ne payer que pour un résultat dépassant un seuil clairement défini, sans aucune obligation de payer si personne n'y parvenait.

Publier de vraies notes anonymisées et offrir 1 M$ pour un gain de précision de 10 %, en laissant des milliers d'équipes externes concourir et en ne payant qu'en cas de succès.

La publication de données réelles a attiré plus de 40 000 équipes, bien plus diverses que n'importe quelle équipe interne.

Le prix était conditionné au dépassement d'une référence claire, si bien que Netflix ne payait qu'en cas de succès.

Des prix annuels de progrès ont fait émerger des gains incrémentaux, permettant à Netflix de déployer des améliorations tôt.

Le coût du prix était bien inférieur à celui de l'embauche d'un talent équivalent en interne pendant trois ans.

Lorsque la R&D interne atteint un palier, ouvrez vos données et ne payez que pour les résultats qui dépassent votre référence, transformant des coûts fixes en coûts conditionnels.

Plus de 40 000 équipes de plus de 180 pays ont participé sur trois ans, et Netflix a intégré les gains incrémentaux du classement annuel du Progress Prize dans son algorithme de production bien avant qu'un vainqueur final ne soit déclaré. En 2009, une équipe fusionnée appelée BellKor's Pragmatic Chaos a franchi le seuil de 10 % et remporté le prix de 1 000 000 $ — une fraction de ce qu'aurait coûté le recrutement en interne d'une concentration équivalente de talents en apprentissage automatique pendant trois ans, et Netflix avait déjà capté une grande partie de l'amélioration de précision gratuitement pendant la compétition elle-même.