한 메이저리그 팀이 스카우트들의 상충하는 의견을 최적화하여 유망주 순위를 매겼다.

연례 메이저리그 드래프트를 준비하는 일은 어렵다. 매년 약 1,500명의 선수가 지명되므로, 팀은 수백 명의 유망주를 평가하고 순위를 매겨야 한다. 스카우트들은 정성적·정량적 보고서를 제출하지만, 그들의 의견은 종종 크게 엇갈린다.

조지아텍 연구진은 한 메이저리그 팀과 협력하여 이 문제를 모델링했다. 즉, 팀의 스카우트들이 평가한 모든 선수에 대해 합의된 순위를 제시하는 것이다. 동일한 방법론은 각 스카우트가 추가할 정보의 양과 각 선수의 실제 순위에 존재하는 불확실성을 바탕으로 시즌 중 스카우트 일정을 추천하는 데에도 적용된다.

그 팀은 이 최적화 도구를 2년간 사용했으며, 이후 두 번째 메이저리그 팀이 연구진에게 자사의 순위 데이터를 평가해 달라고 요청했다.

의견이 갈리는 스카우트들을 하나의 합의된 드래프트 순위로 전환했다.

잡음이 많은 다수의 전문가 의견으로부터 합의를 도출하는 것은 바로 최적화가 잘하는 일이다.

스카우트 일정은 불확실성을 겨냥하는 동일한 모델에서 자연스럽게 도출된다.

두 팀이 이 도구를 도입했다는 것은 이 도구가 실제 드래프트룸에서의 사용을 견뎌냈음을 보여준다.

전문가들의 의견이 갈릴 때, 그들의 목록을 손으로 평균 내지 말고 집계 방식을 명시적으로 모델링하라. 그러면 순위와 함께 다음 관측이 어디에서 가장 가치 있을지에 대한 통찰을 얻을 수 있다.

이 사례는 2012년 Interfaces에 게재되었으며, 이 도구는 계속 사용되었고 두 번째 팀이 평가를 요청했다.