Netflixは自社アルゴリズムを打ち負かすために外部の人間に報酬を支払った

2006年までに、NetflixのDVD郵送レンタル向け推薦エンジン「Cinematch」は事業の中心となっていた。より良い推薦は、顧客が好みの映画を見つけ続けて購読を継続することにつながるが、Netflix自身のデータサイエンスチームが開発を続けていたにもかかわらず、アルゴリズムの精度は頭打ちになっていた。

Netflixは内部チームの拡大を続ける代わりに、別の手段を検討した。実際の学習データ、すなわち匿名化された実ユーザーの評価データを、自社で雇用できる数をはるかに超える研究者たちに提示し、明確に定義された基準を上回る成果に対してのみ報酬を支払い、誰も成功しなければ何も支払う義務を負わないという方法だった。

匿名化された実際の評価データを公開し、精度10%向上に対して100万ドルを提供することで、数千の外部チームが競争できるようにし、成功した場合にのみ報酬を支払った。

実際のデータを公開したことで4万以上のチームが集まり、どの内部チームよりもはるかに多様な人材が参加した。

賞金は明確なベンチマークを上回ることを条件としていたため、Netflixは成功に対してのみ報酬を支払った。

年間進歩賞によって段階的な改善が明らかになり、Netflixは早期に改善を導入できた。

賞金の費用は、同等の人材を3年間社内で雇用する場合よりもはるかに少なかった。

社内の研究開発が頭打ちになったら、データを公開し、自社のベンチマークを上回る成果に対してのみ報酬を支払うことで、固定費を条件付きの費用に変えられる。

180か国以上から4万以上のチームが3年以上にわたって参加し、Netflixは最終的な勝者が発表されるはるか前に、年間進歩賞のリーダーボードから得られた段階的な改善を本番アルゴリズムに組み込んでいた。2009年、BellKor's Pragmatic Chaosという統合チームが10%の閾値を超えて100万ドルの賞金を獲得した。これは、同等の集中度の機械学習人材を3年間社内で採用する場合にかかったであろう費用の一部にすぎず、しかもNetflixはコンペティション自体の間に精度向上の大部分をすでに無償で獲得していた。