Ein MLB-Team erstellte ein Prospect-Ranking durch Optimierung der widersprüchlichen Meinungen seiner Scouts.

Die Vorbereitung auf den jährlichen Major-League-Baseball-Draft ist schwierig: Da jedes Jahr etwa 1.500 Spieler ausgewählt werden, müssen Teams Hunderte von Prospects bewerten und einordnen. Scouts reichen qualitative und quantitative Berichte ein, doch ihre Meinungen weichen oft stark voneinander ab.

Forscher der Georgia Tech arbeiteten mit einem Major-League-Team zusammen, um das Problem zu modellieren: ein konsensbasiertes Ranking aller Spieler vorzuschlagen, die von den Vertretern des Teams gescoutet wurden. Dieselbe Methodik empfiehlt auch die Einsatzplanung der Scouts während der Saison, basierend darauf, wie viel Information jeder Scout beitragen würde und wie groß die Unsicherheit über das tatsächliche Ranking jedes Spielers ist.

Das Team nutzte das Optimierungswerkzeug zwei Jahre lang, und ein zweites Major-League-Team bat die Forscher später, seine Ranking-Daten zu bewerten.

Widersprüchliche Scouts zu einem einzigen konsensbasierten Draft-Ranking zusammenführen.

Ein Konsens aus vielen verrauschten Expertenmeinungen ist genau das, was Optimierung gut leistet.

Die Einsatzplanung der Scouts ergibt sich auf natürliche Weise aus demselben Modell, das auf die Unsicherheit abzielt.

Dass zwei Teams das Werkzeug übernahmen, zeigt, dass es den realen Einsatz im Draft-Raum überstanden hat.

Wenn Experten uneinig sind, sollte man ihre Listen nicht von Hand mitteln – modelliert die Aggregation explizit, und ihr erhaltet ein Ranking plus Einsicht darüber, wo die nächste Beobachtung am wertvollsten wäre.

Der Fall wurde 2012 in Interfaces veröffentlicht; das Werkzeug blieb im Einsatz, und ein zweites Team forderte die Bewertung an.