Netflix花钱请外人打败自己的算法

到2006年，Netflix的DVD邮寄推荐引擎Cinematch已成为业务核心——更好的推荐意味着客户能持续找到喜欢的电影并持续订阅——但尽管Netflix自己的数据科学团队一直在努力，该算法的准确率仍陷入停滞。

Netflix没有继续扩大内部团队，而是考虑了一个不同的杠杆：将真实的训练数据——真实的匿名用户评分——呈现在远超其雇员数量的研究人员面前，只为达到明确定义标准的结果付费，若无人成功则无需支付任何费用。

发布真实匿名评分数据，悬赏100万美元寻求10%的准确率提升，让数千支外部团队竞争，只奖励成功者。

公开真实数据吸引了超过4万支团队，远多于任何内部团队的多样性。

奖金以超越明确基准为前提，因此Netflix只为成功付费。

年度进步奖展示了渐进式改进，让Netflix能提前部署这些改进。

奖金成本远低于在内部雇用同等人才三年的费用。

当内部研发停滞时，开放数据并只为超越基准的结果付费，将固定成本转化为条件成本。

超过4万支来自180多个国家的团队在三年内参与竞争，Netflix在最终获胜者宣布前，已将年度进步奖排行榜上的渐进改进纳入生产算法。2009年，一支名为BellKor's Pragmatic Chaos的合并团队突破了10%的阈值，赢得了100万美元的奖金——这仅是内部雇用同等水平机器学习人才三年所需费用的一小部分，而Netflix在竞赛期间已经免费获得了大部分准确率提升。