Netflix ajustó su sistema de recomendaciones en función de la retención, no de la precisión de las calificaciones por estrellas

La economía de suscripción de Netflix depende por completo de la tasa de cancelación: un miembro que no encuentra algo que valga la pena ver esa noche acaba cancelando. Tras el cambio al streaming, el catálogo creció mucho más allá de lo que cualquier miembro podía explorar, por lo que el descubrimiento personalizado tuvo que sostener la mayor parte del consumo. En 2015, Carlos Gomez-Uribe y Neil Hunt, los ejecutivos responsables del trabajo de recomendación y producto de Netflix, publicaron el primer relato completo del sistema desplegado en ACM Transactions on Management Information Systems.

La descripción del sistema que hace el artículo está organizada en torno al propósito de negocio. La personalización en su conjunto influye en la elección de aproximadamente el 80% de las horas reproducidas en Netflix, moldeando qué filas aparecen en la página de inicio, cómo se clasifican los títulos, qué ilustración representa a un título e incluso cómo se personalizan los resultados de búsqueda. En lugar de optimizar para la precisión de predicción de calificaciones —el objetivo del famoso Netflix Prize—, el equipo evaluó los cambios de algoritmo con pruebas A/B centradas en la retención de miembros y el engagement a medio plazo, complementadas con experimentos offline sobre datos históricos de engagement.

El cambio de objetivo fue la genialidad silenciosa de todo esto. La precisión de las calificaciones es un indicador indirecto; la suscripción se paga mes a mes en función de si los miembros siguen encontrando valor. Al hacer de la retención la prueba que debía superar todo cambio en el sistema de recomendaciones, Netflix alineó su mayor esfuerzo de ingeniería con su modelo de ingresos, y el artículo de 2015 se convirtió en la referencia estándar sobre el valor de negocio de los sistemas de recomendación en producción.

Optimizar el sistema de recomendaciones para la retención, no para la precisión de las calificaciones

La tasa de cancelación es la restricción determinante de un servicio de vídeo por suscripción, por lo que la retención —no el RMSE de las calificaciones— es la cifra que las recomendaciones tienen que mover realmente.

Las pruebas A/B con miembros reales cierran la brecha entre la precisión offline y el comportamiento: lo que los miembros califican y lo que hace que se queden son cosas distintas, como había demostrado la experiencia del Netflix Prize.

La personalización se acumula en cada superficie —filas, clasificación, ilustraciones, búsqueda—, de modo que cada impresión hace que el servicio se sienta hecho a medida, elevando el valor por sesión sin gasto adicional en contenido.

Tratar la búsqueda como un problema de recomendaciones unificó toda la experiencia de descubrimiento bajo un único objetivo de optimización en lugar de objetivos en competencia.

Cuando una métrica indirecta deja de predecir el resultado de negocio, reorienta el sistema hacia el resultado mismo: Netflix hizo de la retención, y no de la precisión de las calificaciones, la prueba que debía superar cada cambio en el sistema de recomendaciones.

El artículo de 2015 se convirtió en uno de los relatos más citados de un sistema de recomendación en producción y fijó «optimizar para la métrica de negocio» como práctica estándar en la industria. Netflix pasó a personalizar las ilustraciones por miembro y a convertir las comunidades de gustos en un concepto global y consciente del idioma. La industria en general siguió el marco de retención y engagement, que más tarde alimentó debates públicos sobre hasta qué punto los feeds optimizados para el engagement moldean lo que la gente ve.