Netflixはスター評価の精度ではなく継続率に合わせてレコメンダーを調整した

Netflixのサブスクリプション経済は解約率に生死を懸けている。今夜見る価値のあるものを会員が見つけられなければ、やがて解約する。ストリーミングへの移行後、カタログは会員が閲覧しきれないほど膨大になり、視聴の大半をパーソナライズされた発見が担う必要が生じた。2015年、Netflixのレコメンデーションとプロダクトを率いていた経営幹部のカルロス・ゴメス＝ウリベとニール・ハントは、ACM Transactions on Management Information Systemsに、稼働中のシステムについての最初の完全な説明を発表した。

論文のシステムに関する記述は、ビジネス上の目的を中心に構成されている。Netflixでストリーミングされた時間の約80%において、パーソナライゼーションは全体として選択に影響を与えており、ホームページにどの行を表示するか、タイトルをどうランク付けするか、どのアートワークがタイトルを表すか、さらには検索結果をどうパーソナライズするかまで形作っている。有名なNetflix Prizeの目標であった評価予測の精度を最適化するのではなく、チームは会員の継続率と中期的なエンゲージメントに焦点を当てたA/Bテストでアルゴリズムの変更を評価し、過去のエンゲージメントデータを用いたオフライン実験で補完した。

目的の切り替えこそが、静かなる天才性だった。評価精度は代理指標であり、サブスクリプションは会員が価値を見出し続けられるかどうかで毎月支払われる。レコメンダーの変更が通過しなければならないテストを継続率にすることで、Netflixは最大のエンジニアリング努力を収益モデルに整合させ、2015年の論文は本番レコメンデーションシステムのビジネス価値に関する標準的な参考文献となった。

レコメンダーを評価精度ではなく継続率に合わせて最適化した

解約はサブスクリプション動画サービスの拘束条件であり、レコメンデーションが実際に動かさなければならない数値は評価RMSEではなく継続率である。

実会員に対するA/Bテストは、オフラインの精度と実際の行動との間のギャップを埋める。会員が評価するものと、会員を留まらせるものは別物であり、これはNetflix Prizeの経験が示していたことである。

パーソナライゼーションは行、ランキング、アートワーク、検索といったあらゆる接点で複合的に作用するため、各インプレッションがサービスを自分向けに仕立てられたものと感じさせ、新たなコンテンツ支出なしにセッションあたりの価値を高める。

検索をレコメンデーションの問題として扱うことで、発見体験全体が競合する目的ではなく単一の最適化目標の下に統合された。

代理指標がビジネス成果を予測しなくなったら、システムを成果そのものに向け直す。Netflixは評価精度ではなく継続率を、レコメンダーの各変更が通過しなければならないテストとした。

2015年の論文は、本番レコメンダーシステムについて最も引用される記述の一つとなり、「ビジネス指標に合わせて最適化する」ことを業界の標準的実践として定着させた。Netflixはその後、会員ごとのアートワークのパーソナライズや、嗜好コミュニティをグローバルで言語を考慮した概念へと進化させた。業界全体が継続率とエンゲージメントの枠組みに追随し、これは後に、エンゲージメント最適化されたフィードが人々の視聴内容をどれほど強く形作るかについての公的な議論につながった。