解法
随着亚马逊目录远超书籍范围,它积累了大量的重复商品页面——同一商品以略微不同的标题、图片或描述多次列出。工程师试图用匹配算法自动化清理,但任务不断击败软件:人扫一眼两个列表就能在几秒内判断是否为同一产品,而编写足够通用的规则来捕捉所有变体且不产生错误匹配在实际目录规模下不可行。
亚马逊经理Venky Harinarayan的团队构建了他所谓的混合人机计算安排:将去重任务分解为小独立单元,每个单元可由人秒级回答,并自动通过互联网分配给远程工作者池,他们可随时随地进行。杰夫·贝索斯看到了这个内部工具的更大潜力,于2005年将其转化为公共市场,命名为Mechanical Turk,以18世纪会下棋的自动化装置命名,该装置实际上内部藏有人类操作员。
取得了什么结果
开放了一个针对重复检测等微任务的公共市场,按任务付费,使软件能将人的判断作为API调用,并根据需求扩展劳动力。
为什么有效
微任务无需上下文,任何工作者都能快速回答。
分布式工作者随需求扩展,而非固定人数。
编程调用使人的判断像软件一样易用。
可以借鉴什么
当自动化在处理需要快速人类判断的任务时失败,将其分解为微任务,并通过API路由到按需人力。
后续
内部工具解决了亚马逊自身的目录问题,然后于2005年作为市场公开推出,至今仍在运行。Mechanical Turk成为更广泛‘众包’和人机协同AI行业的模板,后来支撑了现代机器学习系统中许多标记训练数据,这些都源于为解决内部目录问题而构建的工具。
从这里,追溯依据
参考来源
- Untold History of AI: How Amazon's Mechanical Turkers Got Squeezed Inside the Machine IEEE Spectrum · spectrum.ieee.org