O Kaggle transformou problemas de aprendizado de máquina em competições públicas

As empresas acumulam dados que querem transformar em valor, mas cientistas de dados são raros e as organizações têm dificuldade para adquirir talento. O Kaggle.com oferece uma alternativa: empresas hospedam competições de aprendizado de máquina e os participantes constroem modelos de previsão em troca de prêmios.

Um estudo da HICSS de 2020 usou dez entrevistas com especialistas, além de dados coletados do Kaggle, para entender como as organizações usam competições. Ele encontrou benefícios reais — discutir com os participantes e aprender abordagens de ponta —, mas observou que as competições só conseguem cobrir uma fração das tarefas de um projeto típico de ciência de dados.

O estudo identificou 12 fatores dentro de três categorias que influenciam o sucesso percebido por uma organização ao hospedar uma competição de ciência de dados, fornecendo um arcabouço para quando o crowdsourcing supera a contratação.

Fazer crowdsourcing do modelo por meio de competição

A multidão é muito maior e mais diversa do que qualquer equipe interna.

Uma métrica de avaliação clara permite que as organizações comparem modelos objetivamente.

As competições expõem as equipes internas a abordagens de ponta.

Hospedar custa um prêmio, não salários e quadro de pessoal.

Se a expertise é escassa e cara, compre soluções em vez de quadro de pessoal: uma competição bem delimitada com uma métrica clara permite que a multidão faça o trabalho e ensina sua equipe no processo.

O Kaggle tornou-se o mercado de referência para competições de ciência de dados, usado por empresas e pesquisadores no mundo todo para obter modelos, comparar abordagens e recrutar talentos, antes de ser adquirido pelo Google em 2017.