Kosters robots.txt erlaubte Websites, Crawlern mitzuteilen, was sie überspringen sollen, und wurde zur Regel des Webs

Bis 1993 hatte das junge Web Crawler, die Seiten automatisch abriefen, und einige brachten die Server, die sie besuchten, stark unter Druck. Martijn Koster, der bei Nexor einen Server betrieb, stellte fest, dass seine Maschine von einem Web Wanderer mit etwa einem Dokument pro Sekunde heruntergeladen wurde, und beschwerte sich bereits im September 1993 über wiederholte automatisierte Downloads.

Die naheliegende Lösung bestand darin, Crawler einzeln zu kontrollieren: den Betreiber finden, anrufen oder schreiben und ihn bitten, damit aufzuhören. Das ließ sich nicht skalieren, und die Roboter vermehrten sich. Daher veröffentlichte Koster am 25. Februar 1994 in der Mailingliste www-talk den Beitrag „Important: Spiders, Robots and Web Wanderers“, in dem er einen Standard vorschlug, der „keine Server-/Client-/Protokolländerungen erfordert“: Ein Server sollte veröffentlichen können, welche Teile seines URL-Raums Roboter nicht besuchen sollten.

Die Datei begann als /RobotsNotWanted.txt und wurde dann zu robots.txt – der kurze Name setzte sich durch, weil DOS-Dateisysteme die Dateinamenlänge begrenzten. Am 3. Juli 1994 kündigte Koster „A Standard for Robot Exclusion“ an; die meisten damals betriebenen Roboter nutzten ihn bereits oder hatten Unterstützung zugesagt. Jeder Crawler rief einfach die Datei ab, bevor er crawlte, und befolgte ihre Regeln.

Was sie durchsetzungsfähig machte, war das Design: eine feste, wohlbekannte URL, reiner Text, kein zentrales Register und keine Durchsetzung – die Datei funktioniert nur, weil Crawler-Autoren vereinbaren, sie zu prüfen. Achtundzwanzig Jahre später formalisierte die IETF die Konvention als RFC 9309 (2022), bis heute der Webstandard dafür, wie Websites und Bots Zugang aushandeln.

Eine Opt-out-Datei, die jeder Crawler prüft: kein Gesetz, kein Register

Sie erforderte keine Änderungen an Protokoll, Server oder Browser, sodass die Einführung eine einzige kleine Änderung auf der Crawler-Seite war.

Ein fester, wohlbekannter Pfad gab jedem Website-Betreiber einen Ort, um Regeln zu erklären, und jedem Crawler einen Ort, an dem er nachsehen konnte.

Freiwillige Befolgung brachte die Anreize in Einklang: Crawler, die die Datei ignorierten, verloren den Goodwill und den Zugang, der sie nützlich machte.

Koster brachte die wichtigsten Roboter-Autoren in die Mailinglisten-Diskussion von 1994 ein, sodass der De-facto-Standard bereits übernommen zur Welt kam.

Wenn eine Regel nicht durchgesetzt werden kann, sollte man sie so gestalten, dass die Befolgung nahezu kostenlos ist und die mächtigen Parteien einen Anreiz haben, sie zu befolgen; dann setzt sich der Standard selbst durch.

robots.txt wurde zum Standard-Zugangsvertrag des Webs und wird seit drei Jahrzehnten von Suchmaschinen und Crawlern beachtet. 2019 wurde sie 25 Jahre alt; im September 2022 veröffentlichte die IETF RFC 9309, „Robots Exclusion Protocol“, geschrieben von Koster mit Gary Illyes von Google und anderen, der formale Regeln zur Fehlerbehandlung und zum Caching hinzufügte. Sie bleibt im Jahr 2020er-Diskurs über KI-Crawler und Content-Lizenzierung zentral – ein Format, das jeden Versuch überlebte, es zu ersetzen.