Netflix 根据留存率而非星级评分准确度来调校其推荐系统

Netflix 的订阅经济成败系于流失率：一个会员如果今晚找不到值得看的内容，最终就会取消订阅。转向流媒体之后，内容库的增长远远超出任何会员能够浏览的范围，因此个性化发现必须承担起大部分观看量。2015年，负责 Netflix 推荐与产品工作的高管 Carlos Gomez-Uribe 和 Neil Hunt 在《ACM Transactions on Management Information Systems》上发表了关于该已部署系统的首份完整论述。

该论文对系统的论述围绕商业目的来组织。总体而言，个性化影响了 Netflix 上约80%的流媒体播放时长的选择，它决定了首页上出现哪些行、标题如何排序、用哪张图片代表一个标题，甚至搜索结果如何个性化。团队并未以优化评分预测准确度——即著名的 Netflix Prize 的目标——为目标，而是通过聚焦会员留存和中期参与度的 A/B 测试来评估算法变更，并以基于历史参与度数据的离线实验作为补充。

目标的转换正是其不显山露水的天才之处。评分准确度只是一个代理指标；订阅是按月付费的，取决于会员是否持续找到价值。通过让留存成为推荐系统变更必须通过的测试，Netflix 将其最大的工程投入与自身的收入模式对齐，而2015年的那篇论文则成为生产级推荐系统商业价值的标准参考文献。

让推荐系统针对留存率而非评分准确度进行优化

流失率是订阅视频服务的硬性约束，因此留存率——而非评分 RMSE——才是推荐系统真正必须推动的数字。

针对真实会员的 A/B 测试弥合了离线准确度与行为之间的差距：会员评什么分和什么让他们留下来是两回事，Netflix Prize 的经历已经证明了这一点。

个性化在每一个界面上叠加生效——行、排序、图片、搜索——因此每一次曝光都让服务显得更贴合个人，在不增加内容支出的情况下提升了每次会话的价值。

将搜索视为一个推荐问题，把整个发现体验统一在一个优化目标之下，而不是让多个目标相互竞争。

当一个代理指标不再能预测业务结果时，就把系统重新对准结果本身：Netflix 让留存率而非评分准确度成为每一项推荐系统变更必须通过的测试。

2015年的那篇论文成为被引用最多的生产级推荐系统论述之一，并将“针对业务指标进行优化”确立为行业的标准做法。Netflix 随后进一步为每位会员个性化图片，并将品味社群打造为一个全球化、能感知语言的概念。更广泛的行业也跟随了留存与参与度的框架，这一框架后来助推了关于高度参与度优化的信息流如何塑造人们观看内容的公开讨论。