Kosterのrobots.txtはウェブサイトがクローラにスキップさせる内容を伝えることを可能にし、ウェブのルールとなった

1993年までに、若きウェブにはページを自動的に取得するクローラが存在し、中には訪問先のサーバに大きな負荷をかけるものもあった。Nexorでサーバを運用していたMartijn Kosterは、自身のマシンがウェブワンダラーによっておよそ1秒に1文書のペースでダウンロードされていることに気づき、早くも1993年9月には繰り返される自動ダウンロードについて苦情を述べていた。

明白な修正方法は、クローラを1つずつ取り締まることだった。運営者を見つけ、電話や書簡で停止を求めるのである。しかしそれはスケールせず、ロボットの数は増え続けていた。そこで1994年2月25日、Kosterは「Important: Spiders, Robots and Web Wanderers」をwww-talkメーリングリストに投稿し、「サーバ/クライアント/プロトコルの変更を一切必要としない」標準を提案した。サーバが、自身のURL空間のうちロボットが訪問すべきでない部分を公開できるようにするものだった。

このファイルは当初/RobotsNotWanted.txtとして生まれ、その後robots.txtとなった。短い名前が勝ったのは、DOSのファイルシステムがファイル名の長さを制限していたためである。1994年7月3日、Kosterは「A Standard for Robot Exclusion」を発表した。稼働中のほとんどのロボットはすでにこれを使用しているか、支持を約束していた。各クローラはクロール前に単にこのファイルを取得し、その規則に従うだけだった。

それが定着したのは設計によるものだった。固定された周知のURL、プレーンテキスト、中央レジストリなし、強制力なし——このファイルが機能するのは、クローラの作者たちがそれを確認することに同意しているからにすぎない。28年後、IETFはこの慣行をRFC 9309（2022年）として正式化した。これは今なお、サイトとボットがアクセスを交渉する方法に関するウェブの標準である。

すべてのクローラが確認する1つのオプトアウトファイル。法律もレジストリもなし

プロトコル、サーバ、ブラウザの変更を必要としなかったため、導入はクローラ側の小さな変更1つで済んだ。

固定された周知のパスにより、すべてのサイト所有者に規則を宣言する1つの場所が与えられ、すべてのクローラに参照する1つの場所が与えられた。

自発的な遵守はインセンティブと整合していた。このファイルを無視するクローラは、自身を有用たらしめていた善意とアクセスを失った。

Kosterは主要なロボット作者たちを1994年のメーリングリスト議論に参加させたため、事実上の標準はすでに採用された状態で生まれた。

ある規則を強制できない場合、遵守のコストがほぼゼロになり、力を持つ当事者にそれに従うインセンティブが生まれるように設計せよ。そうすれば標準は自らを強制する。

robots.txtはウェブの既定のアクセス契約となり、30年にわたり検索エンジンやクローラによって守られてきた。2019年には25周年を迎え、2022年9月にはIETFが「Robots Exclusion Protocol」としてRFC 9309を公開した。これはKosterがGoogleのGary Illyesらとともに執筆し、正式なエラー処理とキャッシュの規則を追加したものである。2020年代のAIクローラとコンテンツライセンスをめぐる議論においても中心的な存在であり続けている——あらゆる代替の試みよりも長く生き残った形式である。