アマゾンはカタログ整理に人間の判断を組み込んだ

アマゾンのカタログが書籍の枠をはるかに超えて拡大するにつれ、同一商品が微妙に異なるタイトル、画像、説明で複数回掲載された重複商品ページが大量に蓄積された。エンジニアたちはマッチングアルゴリズムによる自動整理を試みたが、この作業は何度もソフトウェアを打ち負かした。人間なら二つの掲載を見て数秒で同一商品かどうかを判断できる一方、あらゆる変種を捉えつつ誤マッチを生まないほど汎用的なルールを書くことは、カタログの規模では実行不可能であることが判明した。

アマゾンのマネージャー、ヴェンキー・ハリナラヤンのチームは、彼がハイブリッドな機械・人間コンピューティングの仕組みと呼んだものを構築した。すなわち、重複排除の作業を人間が数秒で答えられる小さな独立した単位に分割し、それらの単位をインターネット経由で自動的に、いつでもどこでも作業を完了できる遠隔ワーカーのプールに分散させるシステムである。ジェフ・ベゾスはこの社内ツールのより広い可能性を見出し、2005年に公開マーケットプレイスへと転換させた。その名は、内部に人間の操作者を密かに隠していた18世紀のチェスを指す自動人形にちなんでメカニカル・タークと名付けられた。

重複検出のようなマイクロタスクのための公開マーケットプレイスを開設し、タスク単位で報酬を支払うことで、ソフトウェアが人間の判断をAPIとして呼び出し、需要に応じて労働力を拡張できるようにした。

マイクロタスクは文脈を必要としないため、どのワーカーでも素早く回答できる。

分散したワーカーは人員数ではなく需要に応じて拡張する。

プログラムからの呼び出しにより、人間の判断をソフトウェアと同じくらい簡単に利用できる。

自動化が素早い人間の判断を要するタスクで失敗する場合、それをマイクロタスクに分解し、API経由でオンデマンドの人間に振り分ける。

この社内ツールはアマゾン自身のカタログ問題を解決し、その後2005年に公開マーケットプレイスとして開始され、今日もなお運営が続いている。メカニカル・タークは、より広範な「クラウドワーク」および人間参加型AI（human-in-the-loop AI）産業の雛形となり、後に現代の機械学習システムを支えるラベル付き訓練データの多くを下支えすることになった。そのすべては、厳密に社内のカタログ問題を解決するために作られたツールに由来している。