넷플릭스는 별점 정확도가 아닌 유지율을 기준으로 추천 시스템을 조정했다

넷플릭스의 구독 경제는 이탈률에 달려 있다. 오늘 밤 볼 만한 콘텐츠를 찾지 못한 회원은 결국 구독을 취소한다. 스트리밍으로 전환한 후 카탈로그는 회원이 탐색할 수 있는 범위를 훨씬 넘어서 커졌고, 따라서 개인화된 발견 기능이 시청의 대부분을 담당해야 했다. 2015년 넷플릭스의 추천 및 제품 업무를 총괄하던 경영진 카를로스 고메스-우리베와 닐 헌트는 ACM Transactions on Management Information Systems에 배포된 시스템에 대한 최초의 전면적인 설명을 발표했다.

논문의 시스템 설명은 비즈니스 목적을 중심으로 구성되어 있다. 넷플릭스에서 스트리밍된 시간의 약 80%에 대해 개인화가 전반적으로 선택에 영향을 미치며, 이는 홈페이지에 어떤 행이 나타나는지, 타이틀이 어떻게 순위가 매겨지는지, 어떤 아트워크가 타이틀을 대표하는지, 심지어 검색 결과가 어떻게 개인화되는지까지 형성한다. 유명한 넷플릭스 프라이즈의 목표였던 평점 예측 정확도를 최적화하는 대신, 팀은 회원 유지율과 중기 참여도에 초점을 맞춘 A/B 테스트로 알고리즘 변경을 평가했으며, 과거 참여 데이터에 대한 오프라인 실험으로 이를 보완했다.

목표의 전환이 바로 이 시스템의 조용한 천재성이었다. 평점 정확도는 대리 지표일 뿐이며, 구독은 회원이 계속 가치를 찾는지 여부에 따라 매달 지불된다. 유지율을 추천 시스템 변경이 통과해야 하는 테스트로 삼음으로써 넷플릭스는 가장 큰 엔지니어링 노력을 수익 모델과 일치시켰고, 2015년 논문은 프로덕션 추천 시스템의 비즈니스 가치에 대한 표준 참고 문헌이 되었다.

평점 정확도가 아닌 유지율을 위해 추천 시스템을 최적화하라

이탈률은 구독형 비디오 서비스의 구속 조건이므로, 추천이 실제로 움직여야 하는 숫자는 평점 RMSE가 아니라 유지율이다.

실제 회원을 대상으로 한 A/B 테스트는 오프라인 정확도와 행동 사이의 간극을 좁힌다. 회원이 평가하는 것과 회원이 남게 만드는 것은 서로 다른 것이며, 이는 넷플릭스 프라이즈 경험이 입증한 바다.

개인화는 행, 순위, 아트워크, 검색 등 모든 접점에서 복합적으로 작용하므로, 각 노출이 서비스를 맞춤형으로 느끼게 하여 새로운 콘텐츠 지출 없이 세션당 가치를 높인다.

검색을 추천 문제로 취급함으로써 경쟁하는 목표 대신 하나의 최적화 목표 아래 전체 발견 경험을 통합했다.

대리 지표가 더 이상 비즈니스 성과를 예측하지 못할 때는 시스템을 성과 자체로 다시 겨냥하라. 넷플릭스는 평점 정확도가 아닌 유지율을 각 추천 시스템 변경이 통과해야 하는 테스트로 삼았다.

2015년 논문은 프로덕션 추천 시스템에 관한 가장 많이 인용된 설명 중 하나가 되었고, '비즈니스 지표를 위해 최적화하라'를 업계의 표준 관행으로 확립했다. 넷플릭스는 이후 회원별로 아트워크를 개인화하고 취향 커뮤니티를 글로벌하고 언어를 인식하는 개념으로 만들었다. 더 넓은 업계는 유지율과 참여도라는 틀을 따랐으며, 이는 나중에 참여도에 최적화된 피드가 사람들이 보는 것에 얼마나 강하게 영향을 미치는지에 관한 공개 논쟁으로 이어졌다.