解決方案
隨著 Amazon 的商品目錄遠遠超出書籍範疇,它累積了大量重複的商品頁面——同一件商品被多次列出,標題、圖片或描述略有不同。工程師嘗試用比對演算法自動化清理,但這項任務屢屢擊敗軟體:人類只要瞥一眼兩個商品頁面,幾秒鐘就能判斷它們是否為同一件商品,而要寫出足夠通用、能捕捉每一種變體又不產生誤配的規則,在商品目錄的規模下被證明並不實際。
Amazon 經理 Venky Harinarayan 的團隊打造了他所謂的混合式機器—人類運算安排:一套系統將去重任務拆解成小型、獨立的單元,每個單元都能由人類在幾秒鐘內回答,並將這些單元自動透過網際網路分發給一群遠端工作者,他們可以隨時隨地選擇完成。Jeff Bezos 看中了這個內部工具的更大潛力,於 2005 年將其轉變為公開市集,命名為 Mechanical Turk,取名自 18 世紀那台在內部暗藏人類操作員的西洋棋自動機。
它達成了什麼
開設了一個針對重複偵測等微任務的公開市集,按任務計酬,讓軟體能將人類判斷當作 API 呼叫,並讓人力隨需求擴展。
為何奏效
微任務不需要背景脈絡,因此任何工作者都能快速回答。
分散式工作者隨需求擴展,而非隨員工人數擴展。
程式化呼叫讓人類判斷像軟體一樣易於使用。
可應用之處
當自動化在需要快速人類判斷的任務上失敗時,將其分解為微任務,並透過 API 路由給隨需的人類。
後續發展
這個內部工具解決了 Amazon 自身的商品目錄問題,隨後於 2005 年公開推出,成為一個至今仍在運作的市集。Mechanical Turk 成為更廣泛的「群眾外包工作」與人在迴路中 AI 產業的範本,後來支撐了現代機器學習系統背後大量的標註訓練資料,而這一切都源自一個為解決嚴格內部商品目錄問題而打造的工具。
追溯依據
參考來源
- Untold History of AI: How Amazon's Mechanical Turkers Got Squeezed Inside the Machine IEEE Spectrum · spectrum.ieee.org