robots.txtは執行力のないままウェブの礼儀作法の層を担っていた

1993年から94年頃、若きウェブは厄介な問題を抱えていた。ウェブ・ロボット——さまよう者、スパイダー——が自分勝手なペースでページを巡回し、クロールされることに同意していないサーバーを叩き、時にはサーバーをループに陥れたりログを溢れさせたりした。それへの対応は、法律でも執行力を伴うプロトコルでもなく、一つのファイルだった。どのサーバーも /robots.txt を公開して、どのロボットがどのパスで歓迎されるかを列挙でき、クローラーの作者たちはそれを守るのだ。

この形式自身のドキュメントが、その設計を最も明確に語っている。1994年6月30日のrobotsメーリングリストの合意は、明示的に「標準化団体に裏付けられた公式標準でも、いかなる商業組織に所有されるものでもない。誰によっても執行されず、現在および将来のすべてのロボットがそれを使う保証もない」と述べていた。そして「ロボット作者の大多数が、望まないアクセスからWWWサーバーを守るためにWWWコミュニティに提供する共通の仕組み」と見なされることを求めていた。

任意性が、結局は執行の仕組みとなった。検索エンジン——悪い市民という評判で最も損をするクローラーたち——は厳格に従い、従うことが正統なクローラーであるための代償となった。この慣習は28年間続いた後、IETFが正式な拠り所を与えた。2022年9月に公表されたRFC 9309「The Robots Exclusion Protocol」は、このファイルが何を語るべきか、いかに解析されるべきかを標準化した。

任意のファイルが、いかなる強制規則にも勝った

よく知られたパスとごく単純なテキスト形式により、双方にとって従うことはほぼ無償だった——登録も交渉も、サイト所有者向けのソフトウェアも不要だった。

行動が重要だった当事者（クローラーのベンダー）は、自ら規範を取り締まった。彼らの事業は、ブロックされるのではなく歓迎されることに依存していたからだ。

任意のルールは善意とともに拡張した。新しいクローラーが現れたとき、robots.txtを守ることが、それがマルウェアでないことを告げる方法だった。

標準を誰の所有にもしないままにしたことで、誰もそれを武器化できず、あらゆる検索エンジンと発行者が協議の場に留まった。

標準は利害の一致だけで勝ち得る。すべてのプレイヤーが同じものを必要とするとき——予測可能なクロール、煩わされないサーバー——よく知られたパスに置かれたゼロコストの慣習は、牙のあるどんなものよりも長く生き残る。

この慣習は何十年もの間、クローラーに対するウェブの事実上のアクセス制御層として維持され、IETFは2022年9月にそれをRFC 9309「Robots Exclusion Protocol」として正式に採用した——1994年にメーリングリストの合意が取り決めたことを、ほぼ一言一句そのまま批准する仕様であった。