robots.txt 运行着网络的礼貌层，却毫无强制力

1993至1994年间，年轻的网络发展出一个麻烦：网络机器人——漫游者、蜘蛛——按自己的节奏遍历页面，猛击那些并未同意被爬取的服务器，有时让服务器陷入循环或淹没日志。回应不是法律，也不是带强制力的协议，而是一个文件：任何服务器都可以发布 /robots.txt，列出哪些机器人被欢迎访问哪些路径，而爬虫作者会遵守它。

该格式自身的文档是对其设计最清晰的陈述。1994年6月30日机器人邮件列表的共识明确表示，它“不是由标准机构支持的官方标准，也不归任何商业组织所有。它不由任何人强制执行，也无法保证所有当前和未来的机器人都将使用它。”它请求被视为“大多数机器人作者向WWW社区提供的一种公共设施，用以保护WWW服务器免受不必要的访问。”

自愿性最终成了执行机制。搜索引擎——那些最怕背上坏公民名声的爬虫——严格遵从，而遵从成了成为合法爬虫的代价。这一惯例运行了二十八年，直到IETF给它一个正式归宿：2022年9月发布的RFC 9309《机器人排除协议》，标准化了该文件必须表达的内容以及必须如何解析。

一个自愿性文件胜过了任何强制性规则

一个众所周知的路径加上一种简单的文本格式，使双方的遵从几乎零成本——无需注册、无需协商、站点所有者无需软件。

行为真正重要的各方（爬虫厂商）自行维护这一规范，因为它们的业务依赖于被欢迎而非被封锁。

自愿性规则随善意而扩展：当新的爬虫出现时，遵守robots.txt就是它宣告自己不是恶意软件的方式。

让标准无主意味着没有人能将其武器化，这使每个搜索引擎和发布者都留在桌边。

一项标准可以仅凭利益一致而胜出：当每个参与者都需要同样的东西——可预测的爬取、不受打扰的服务器——一个位于众所周知路径下的零成本惯例，比任何有牙齿的东西都更长久。

这一惯例作为网络爬虫事实上的访问控制层维持了数十年，IETF于2022年9月正式将其采纳为RFC 9309《机器人排除协议》——一份几乎逐字批准了1994年邮件列表共识所确立内容的规范。