A Netflix ajustou seu sistema de recomendação com base na retenção, não na precisão das avaliações por estrelas

A economia da assinatura da Netflix depende inteiramente do churn: um membro que não consegue encontrar algo que valha a pena assistir naquela noite acaba cancelando. Após a mudança para o streaming, o catálogo cresceu muito além do que qualquer membro poderia navegar, de modo que a descoberta personalizada teve de sustentar a maior parte da audiência. Em 2015, Carlos Gomez-Uribe e Neil Hunt, os executivos responsáveis pelo trabalho de recomendação e de produto da Netflix, publicaram o primeiro relato completo do sistema implantado no ACM Transactions on Management Information Systems.

O relato do sistema no artigo está organizado em torno do propósito de negócio. A personalização, no total, influencia a escolha de cerca de 80% das horas transmitidas na Netflix, moldando quais linhas aparecem na página inicial, como os títulos são classificados, qual arte representa um título e até como os resultados de busca são personalizados. Em vez de otimizar para a precisão da previsão de avaliações — o objetivo do famoso Netflix Prize —, a equipe avaliava mudanças nos algoritmos com testes A/B focados na retenção de membros e no engajamento de médio prazo, complementados por experimentos offline com dados históricos de engajamento.

A mudança de objetivo foi a genialidade discreta disso. A precisão das avaliações é uma métrica substituta; a assinatura é paga mês a mês conforme os membros continuam encontrando valor. Ao fazer da retenção o teste que uma mudança no sistema de recomendação precisa passar, a Netflix alinhou seu maior esforço de engenharia ao seu modelo de receita, e o artigo de 2015 tornou-se a referência padrão para o valor de negócio dos sistemas de recomendação em produção.

Otimizar o sistema de recomendação para a retenção, não para a precisão das avaliações

O churn é a restrição determinante de um serviço de vídeo por assinatura, então a retenção — e não o RMSE das avaliações — é o número que as recomendações realmente precisam mover.

Testes A/B com membros reais fecham a lacuna entre a precisão offline e o comportamento: o que os membros avaliam e o que os faz permanecer são coisas diferentes, como a experiência do Netflix Prize havia demonstrado.

A personalização se acumula em todas as superfícies — linhas, classificação, arte, busca —, de modo que cada impressão faz o serviço parecer sob medida, elevando o valor por sessão sem gasto adicional com conteúdo.

Tratar a busca como um problema de recomendações unificou toda a experiência de descoberta sob um único alvo de otimização, em vez de objetivos concorrentes.

Quando uma métrica substituta deixa de prever o resultado de negócio, redirecione o sistema para o próprio resultado: a Netflix fez da retenção, e não da precisão das avaliações, o teste que cada mudança no sistema de recomendação precisa passar.

O artigo de 2015 tornou-se um dos relatos mais citados de um sistema de recomendação em produção e fixou o 'otimizar para a métrica de negócio' como prática padrão no setor. A Netflix passou a personalizar a arte por membro e a tornar as comunidades de gosto um conceito global e sensível ao idioma. O setor em geral seguiu o enquadramento de retenção e engajamento, que mais tarde alimentou debates públicos sobre até que ponto os feeds otimizados para engajamento moldam o que as pessoas assistem.