Amazon verlagerte menschliches Urteilsvermögen in die Bereinigung seines Katalogs

Als Amazons Katalog weit über Bücher hinauswuchs, sammelten sich dort große Mengen doppelter Produktseiten an – derselbe Artikel war mehrfach gelistet, mit leicht abweichenden Titeln, Bildern oder Beschreibungen. Die Ingenieure versuchten, die Bereinigung mit Abgleichalgorithmen zu automatisieren, doch die Aufgabe überforderte die Software immer wieder: Ein Mensch konnte zwei Listings mit einem Blick ansehen und in Sekunden sagen, ob es dasselbe Produkt war, während es sich als undurchführbar erwies, Regeln zu schreiben, die allgemein genug waren, um jede Variation zu erfassen, ohne falsche Treffer zu erzeugen – jedenfalls im Maßstab des Katalogs.

Das Team von Amazon-Manager Venky Harinarayan baute, was er eine hybride Mensch-Maschine-Rechenanordnung nannte: ein System, das die Deduplizierungsaufgabe in kleine, unabhängige Einheiten zerlegte, von denen jede in Sekunden von einem Menschen beantwortet werden konnte, und das diese Einheiten automatisch über das Internet an einen Pool entfernter Arbeitskräfte verteilte, die sie erledigen konnten, wann und wo sie wollten. Jeff Bezos erkannte das größere Potenzial des internen Werkzeugs und ließ es 2005 in einen öffentlichen Marktplatz umwandeln, benannt nach dem schachspielenden Automaten des 18. Jahrhunderts, der heimlich einen menschlichen Bediener in sich verbarg: Mechanical Turk.

Eröffnung eines öffentlichen Marktplatzes für Mikroaufgaben wie die Duplikaterkennung, bezahlt pro Aufgabe, sodass Software menschliches Urteilsvermögen wie eine API aufrufen und Arbeit mit der Nachfrage skalieren konnte.

Mikroaufgaben brauchen keinen Kontext, sodass jede Arbeitskraft sie schnell beantworten kann.

Verteilte Arbeitskräfte skalieren mit der Nachfrage, nicht mit der Mitarbeiterzahl.

Programmatische Aufrufe machen menschliches Urteilsvermögen so einfach nutzbar wie Software.

Wenn die Automatisierung bei einer Aufgabe scheitert, die schnelles menschliches Urteilsvermögen erfordert, zerlege sie in Mikroaufgaben und leite sie über eine API an bedarfsweise verfügbare Menschen weiter.

Das interne Werkzeug löste Amazons eigenes Katalogproblem und wurde 2005 öffentlich als Marktplatz gestartet, der noch heute läuft. Mechanical Turk wurde zur Vorlage für die breitere Branche der „Crowdwork“ und der KI mit menschlicher Einbindung (human-in-the-loop) und bildete später die Grundlage für einen großen Teil der gekennzeichneten Trainingsdaten hinter modernen Systemen des maschinellen Lernens – alles hervorgegangen aus einem Werkzeug, das gebaut wurde, um ein strikt internes Katalogproblem zu lösen.