robots.txt 曾以毫無強制力的方式，運行著網路的禮貌層

1993 至 1994 年間，年輕的網路發展出一種困擾：網路機器人——漫遊者、蜘蛛——按自己的步調遍歷頁面，猛力衝擊那些並未同意被爬取的伺服器，有時讓伺服器陷入迴圈，或淹沒日誌。回應之道並非法律，也不是帶有強制力的協定，而是一個檔案：任何伺服器都能發布 /robots.txt，列出哪些機器人受歡迎、可造訪哪些路徑，而爬蟲作者會遵守它。

該格式自身的文件對其設計做了最清楚的說明。1994 年 6 月 30 日 robots 郵件論壇的共識明確表示，它「並非由標準機構背書的官方標準，也不屬於任何商業組織。它不受任何人強制執行，也無法保證所有現有及未來的機器人都會使用它。」它請求被視為「多數機器人作者提供給全球資訊網社群的一項共同設施，用以保護全球資訊網伺服器免於不受歡迎的存取。」

自願性最終成了強制機制。搜尋引擎——最承受不起被視為不良公民之惡名的爬蟲——嚴格遵守，而遵守與否成了能否成為合法爬蟲的代價。這項慣例運行了二十八年，直到 IETF 賦予它正式歸屬：2022 年 9 月發布的 RFC 9309《機器人排除協定》，將該檔案必須表達的內容及其解析方式標準化。

一個自願性檔案勝過了任何強制性規則

一個眾所周知的路徑加上極簡的文字格式，讓雙方遵守的成本幾乎為零——無需註冊、無需協商，網站所有者也不必安裝任何軟體。

行為真正要緊的各方（爬蟲廠商）自行維護這項規範，因為他們的生意仰賴於受到歡迎，而非被封鎖。

自願性規則隨善意而擴展：當新的爬蟲出現時，遵守 robots.txt 正是它宣告自己並非惡意軟體的方式。

讓標準不歸任何人所有，意味著沒有人能將其武器化，這使每個搜尋引擎與發布者都留在談判桌上。

標準可以單憑利益一致而勝出：當每個參與者都需要同一件事——可預測的爬取、不受打擾的伺服器——一個位於眾所周知路徑、零成本的慣例，會比任何帶有強制力的東西更長壽。

這項慣例數十年來一直是網路上爬蟲事實上的存取控制層，而 IETF 於 2022 年 9 月正式將其採納為 RFC 9309《機器人排除協定》——這份規格幾乎逐字批准了 1994 年郵件論壇共識所確立的内容。