아마존은 카탈로그 정리 작업에 인간의 판단을 연결했다

아마존의 카탈로그가 책을 훨씬 넘어서 성장하면서, 동일한 상품이 제목·이미지·설명만 조금씩 다른 채 여러 번 등록된 대량의 중복 상품 페이지가 쌓였다. 엔지니어들은 매칭 알고리즘으로 정리 작업을 자동화하려 했지만, 이 작업은 계속 소프트웨어를 이겨냈다. 사람은 두 개의 상품 등록을 잠깐 보고 몇 초 만에 같은 상품인지 판별할 수 있었지만, 모든 변형을 잡아내면서 잘못된 매칭은 만들지 않을 만큼 일반적인 규칙을 작성하는 것은 카탈로그 규모에서는 실현 불가능한 것으로 드러났다.

아마존 관리자 Venky Harinarayan의 팀은 그가 하이브리드 기계-인간 컴퓨팅 방식이라고 부른 것을 구축했다. 즉, 중복 제거 작업을 사람이 각각 몇 초 만에 답할 수 있는 작고 독립적인 단위로 나누고, 그 단위들을 인터넷을 통해 자동으로 원격 작업자 풀에 분배하여 작업자들이 원하는 때와 장소에서 완료할 수 있게 한 시스템이었다. Jeff Bezos는 이 내부 도구의 더 넓은 잠재력을 보고 2005년에 이를 공개 마켓플레이스로 전환하게 했으며, 18세기에 내부에 인간 조작자를 몰래 숨겼던 체스 두는 자동인형의 이름을 따서 Mechanical Turk라고 명명했다.

중복 탐지 같은 마이크로 태스크를 위한 공개 마켓플레이스를 열어, 태스크당 지불 방식으로 소프트웨어가 인간의 판단을 API처럼 호출하고 수요에 따라 노동력을 확장할 수 있게 했다.

마이크로태스크는 맥락이 필요 없어서 어떤 작업자든 빠르게 답할 수 있다.

분산된 작업자는 정규 인원이 아니라 수요에 따라 확장된다.

프로그래밍 방식의 호출은 인간의 판단을 소프트웨어만큼 쉽게 사용할 수 있게 한다.

자동화가 빠른 인간의 판단이 필요한 작업에서 실패할 때, 이를 마이크로태스크로 분해하고 API를 통해 온디맨드 인간에게 라우팅하라.

이 내부 도구는 아마존 자체의 카탈로그 문제를 해결한 뒤, 2005년에 오늘날까지 운영 중인 마켓플레이스로 공개 출시되었다. Mechanical Turk는 더 넓은 '크라우드워크' 및 인간 개입형(human-in-the-loop) AI 산업의 템플릿이 되었고, 이후 현대 머신러닝 시스템을 뒷받침하는 라벨링된 훈련 데이터의 상당 부분의 기반이 되었으며, 이 모든 것은 순전히 내부 카탈로그 문제를 해결하기 위해 만들어진 도구에서 비롯되었다.