A Netflix pagou a outsiders para superar seu próprio algoritmo

Em 2006, o mecanismo de recomendação de DVDs por correio da Netflix, o Cinematch, era central para o negócio — recomendações melhores faziam os clientes continuarem encontrando filmes de que gostavam e continuarem assinando —, mas a precisão do algoritmo havia estagnado, apesar de a própria equipe de ciência de dados da Netflix continuar trabalhando nele.

Em vez de continuar ampliando sua equipe interna, a Netflix considerou outra alavanca: colocar seus dados de treinamento reais — avaliações reais e anonimizadas de usuários — diante de muito mais pesquisadores do que jamais poderia empregar, e pagar apenas por um resultado que superasse um patamar claramente definido, sem obrigação de pagar nada caso ninguém conseguisse.

Publicou avaliações reais anonimizadas e ofereceu US$ 1 milhão por um ganho de precisão de 10%, permitindo que milhares de equipes externas competissem e pagando apenas em caso de sucesso.

Publicar dados reais atraiu mais de 40.000 equipes, muito mais diversas do que qualquer equipe interna.

O prêmio estava condicionado a superar um benchmark claro, então a Netflix pagou apenas pelo sucesso.

Prêmios anuais de progresso revelaram ganhos incrementais, permitindo que a Netflix implantasse melhorias cedo.

O custo do prêmio foi muito menor do que contratar talento equivalente internamente por três anos.

Quando o P&D interno estagna, abra seus dados e pague apenas por resultados que superem seu benchmark, transformando custos fixos em custos contingentes.

Mais de 40.000 equipes de mais de 180 países participaram ao longo de três anos, e a Netflix incorporou ganhos incrementais do ranking anual do Prêmio de Progresso ao seu algoritmo de produção bem antes de qualquer vencedor final ser declarado. Em 2009, uma equipe fundida chamada BellKor's Pragmatic Chaos cruzou o limiar de 10% e ganhou o prêmio de US$ 1.000.000 — uma fração do que teria custado recrutar internamente uma concentração equivalente de talento em aprendizado de máquina por três anos, e a Netflix já havia capturado boa parte da melhoria de precisão de graça durante a própria competição.