隨著 Amazon 的商品目錄遠遠超出書籍範疇,它累積了大量重複的商品頁面——同一件商品被多次列出,標題、圖片或描述略有不同。工程師嘗試用比對演算法自動化清理,但這項任務屢屢擊敗軟體:人類只要瞥一眼兩個商品頁面,幾秒鐘就能判斷它們是否為同一件商品,而要寫出足夠通用、能捕捉每一種變體又不產生誤配的規則,在商品目錄的規模下被證明並不實際。

Amazon 經理 Venky Harinarayan 的團隊打造了他所謂的混合式機器—人類運算安排:一套系統將去重任務拆解成小型、獨立的單元,每個單元都能由人類在幾秒鐘內回答,並將這些單元自動透過網際網路分發給一群遠端工作者,他們可以隨時隨地選擇完成。Jeff Bezos 看中了這個內部工具的更大潛力,於 2005 年將其轉變為公開市集,命名為 Mechanical Turk,取名自 18 世紀那台在內部暗藏人類操作員的西洋棋自動機。

開設了一個針對重複偵測等微任務的公開市集,按任務計酬,讓軟體能將人類判斷當作 API 呼叫,並讓人力隨需求擴展。

微任務不需要背景脈絡,因此任何工作者都能快速回答。

分散式工作者隨需求擴展,而非隨員工人數擴展。

程式化呼叫讓人類判斷像軟體一樣易於使用。

當自動化在需要快速人類判斷的任務上失敗時,將其分解為微任務,並透過 API 路由給隨需的人類。

這個內部工具解決了 Amazon 自身的商品目錄問題,隨後於 2005 年公開推出,成為一個至今仍在運作的市集。Mechanical Turk 成為更廣泛的「群眾外包工作」與人在迴路中 AI 產業的範本,後來支撐了現代機器學習系統背後大量的標註訓練資料,而這一切都源自一個為解決嚴格內部商品目錄問題而打造的工具。

追溯依據

參考來源

  1. Untold History of AI: How Amazon's Mechanical Turkers Got Squeezed Inside the Machine IEEE Spectrum · spectrum.ieee.org