A Amazon conectou o julgamento humano à limpeza de seu catálogo

À medida que o catálogo da Amazon cresceu muito além dos livros, ele acumulou um grande número de páginas de produtos duplicadas — o mesmo item listado várias vezes com títulos, imagens ou descrições ligeiramente diferentes. Os engenheiros tentaram automatizar a limpeza com algoritmos de correspondência, mas a tarefa continuava derrotando o software: um humano podia olhar para duas listagens e dizer em segundos se eram o mesmo produto, enquanto escrever regras gerais o suficiente para capturar todas as variações sem produzir correspondências falsas provou-se impraticável na escala do catálogo.

A equipe do gerente da Amazon Venky Harinarayan construiu o que ele chamou de arranjo híbrido de computação máquina-humano: um sistema que dividia a tarefa de desduplicação em pequenas unidades independentes, cada uma respondível por um humano em segundos, e distribuía essas unidades automaticamente pela internet para um conjunto de trabalhadores remotos que podiam completá-las quando e onde quisessem. Jeff Bezos viu o potencial mais amplo da ferramenta interna e fez com que ela se tornasse um mercado público em 2005, chamado Mechanical Turk em homenagem ao autômato jogador de xadrez do século XVIII que escondia secretamente um operador humano em seu interior.

Abriu um mercado público para microtarefas como detecção de duplicatas, pagas por tarefa, para que o software pudesse chamar o julgamento humano como uma API e escalar o trabalho conforme a demanda.

Microtarefas não precisam de contexto, então qualquer trabalhador pode responder rapidamente.

Trabalhadores distribuídos escalam conforme a demanda, não conforme o número de funcionários.

Chamadas programáticas tornam o julgamento humano tão fácil de usar quanto o software.

Quando a automação falha em uma tarefa que exige julgamento humano rápido, decomponha-a em microtarefas e encaminhe para humanos sob demanda via uma API.

A ferramenta interna resolveu o próprio problema de catálogo da Amazon e depois foi lançada publicamente em 2005 como um mercado que ainda funciona hoje. O Mechanical Turk tornou-se o modelo para a indústria mais ampla de 'crowdwork' e de IA com humano no loop, mais tarde sustentando grande parte dos dados de treinamento rotulados por trás dos sistemas modernos de aprendizado de máquina, todos descendentes de uma ferramenta criada para resolver um problema estritamente interno de catálogo.