Kaggle은 머신러닝 문제를 공개 경진대회로 바꾸었다

기업은 가치로 전환하고 싶은 데이터를 쌓아 두지만 데이터 과학자는 드물고 조직은 인재 확보에 어려움을 겪는다. Kaggle.com은 대안을 제시한다. 기업이 머신러닝 경진대회를 열고 참가자들이 상금을 걸고 예측 모델을 만드는 것이다.

2020년 HICSS 연구는 전문가 인터뷰 10건과 Kaggle에서 크롤링한 데이터를 활용해 조직이 경진대회를 어떻게 활용하는지 이해하고자 했다. 이 연구는 참가자들과 논의하고 최신 접근법을 배우는 등 실질적인 이점을 발견했지만, 경진대회가 일반적인 데이터 과학 프로젝트의 과제 중 일부만 다룰 수 있다는 점도 지적했다.

이 연구는 데이터 과학 경진대회를 주최할 때 조직이 인식하는 성공에 영향을 미치는 12가지 요인을 세 범주로 나누어 식별했으며, 크라우드소싱이 채용보다 우수한 경우에 대한 프레임워크를 제공했다.

경진대회를 통해 모델을 크라우드소싱한다

군중은 어떤 사내 팀보다 훨씬 크고 다양하다.

명확한 평가 지표가 있으면 조직이 모델을 객관적으로 비교할 수 있다.

경진대회는 내부 팀에게 최신 접근법을 접하게 해 준다.

주최 비용은 급여와 인원이 아니라 상금이다.

전문성이 부족하고 비싸다면 인원을 늘리는 대신 해결책을 사들이라. 명확한 지표와 잘 정의된 범위의 경진대회는 군중이 일을 하게 하고 그 과정에서 팀을 가르친다.

Kaggle은 데이터 과학 경진대회의 기준이 되는 마켓플레이스가 되어 전 세계 기업과 연구자들이 모델을 조달하고 접근법을 벤치마킹하며 인재를 채용하는 데 활용했으며, 2017년 Google에 인수되었다.