Amazon a intégré le jugement humain dans le nettoyage de son catalogue

À mesure que le catalogue d'Amazon dépassait largement les livres, il accumulait un grand nombre de pages de produits en double — le même article répertorié plusieurs fois avec des titres, des images ou des descriptions légèrement différents. Les ingénieurs ont tenté d'automatiser le nettoyage avec des algorithmes de correspondance, mais la tâche ne cessait de déjouer les logiciels : un humain pouvait jeter un coup d'œil à deux annonces et dire en quelques secondes s'il s'agissait du même produit, tandis qu'écrire des règles suffisamment générales pour attraper chaque variation sans produire de fausses correspondances s'avérait impraticable à l'échelle du catalogue.

L'équipe du manager d'Amazon Venky Harinarayan a construit ce qu'il a appelé un dispositif informatique hybride machine-humain : un système qui décomposait la tâche de déduplication en petites unités indépendantes, chacune pouvant recevoir une réponse d'un humain en quelques secondes, et qui distribuait automatiquement ces unités sur internet à un pool de travailleurs distants pouvant les accomplir quand et où ils le souhaitaient. Jeff Bezos a vu le potentiel plus large de cet outil interne et l'a fait transformer en une place de marché publique en 2005, nommée Mechanical Turk d'après l'automate joueur d'échecs du XVIIIe siècle qui dissimulait secrètement un opérateur humain à l'intérieur.

Ouverture d'une place de marché publique pour des micro-tâches comme la détection de doublons, rémunérées à la tâche, afin que les logiciels puissent appeler le jugement humain comme une API et faire évoluer la main-d'œuvre en fonction de la demande.

Les micro-tâches ne nécessitent aucun contexte, de sorte que n'importe quel travailleur peut répondre rapidement.

Les travailleurs distribués s'adaptent à la demande, et non aux effectifs.

Les appels programmatiques rendent le jugement humain aussi facile à utiliser qu'un logiciel.

Lorsque l'automatisation échoue sur une tâche nécessitant un jugement humain rapide, la décomposer en micro-tâches et les router vers des humains à la demande via une API.

L'outil interne a résolu le problème de catalogue d'Amazon lui-même, puis a été lancé publiquement en 2005 en tant que place de marché toujours en activité aujourd'hui. Mechanical Turk est devenu le modèle de l'industrie plus large du « crowdwork » et de l'humain dans la boucle pour l'IA, sous-tendant ensuite une grande partie des données d'entraînement étiquetées derrière les systèmes modernes d'apprentissage automatique, tous issus d'un outil construit pour résoudre un problème de catalogue strictement interne.