robots.txt betrieb die Höflichkeitsschicht des Webs ganz ohne Durchsetzung

In den Jahren 1993–94 entwickelte das junge Web ein Ärgernis: Web-Roboter – Wanderer, Spinnen – durchquerten Seiten in ihrem eigenen Tempo, malträtierten Server, die dem Crawlen nicht zugestimmt hatten, brachten Server manchmal in Endlosschleifen oder fluteten Logs. Die Antwort war kein Gesetz und kein Protokoll mit Durchsetzung, sondern eine Datei: Jeder Server konnte /robots.txt veröffentlichen und darin auflisten, welche Roboter auf welchen Pfaden willkommen waren, und Crawler-Autoren würden sie befolgen.

Die eigene Dokumentation des Formats ist die klarste Aussage über sein Design. Der Konsens der robots-Mailingliste vom 30. Juni 1994 war ausdrücklich „kein offizieller Standard, der von einem Standardisierungsgremium gestützt oder von einer kommerziellen Organisation besessen wird. Er wird von niemandem durchgesetzt, und es gibt keine Garantie, dass alle gegenwärtigen und zukünftigen Roboter ihn verwenden werden.“ Er bat darum, als „eine gemeinsame Einrichtung betrachtet zu werden, die die Mehrheit der Roboter-Autoren der WWW-Gemeinschaft anbietet, um WWW-Server vor unerwünschten Zugriffen zu schützen.“

Die Freiwilligkeit erwies sich als der Durchsetzungsmechanismus. Suchmaschinen – die Crawler, die am meisten zu verlieren hatten, wenn sie als schlechte Bürger galten – hielten sich peinlich genau daran, und die Befolgung wurde zum Preis dafür, überhaupt ein legitimer Crawler zu sein. Die Konvention lief achtundzwanzig Jahre, bevor die IETF ihr eine formelle Heimat gab: RFC 9309, „The Robots Exclusion Protocol“, veröffentlicht im September 2022, standardisierte, was die Datei aussagen musste und wie sie zu parsen war.

Eine freiwillige Datei besiegte jede durchgesetzte Regel

Ein wohlbekannter Pfad plus ein triviales Textformat machten die Befolgung für beide Seiten nahezu kostenlos – keine Registrierung, keine Verhandlung, keine Software für Seitenbetreiber.

Die Parteien, deren Verhalten zählte (die Crawler-Anbieter), überwachten die Norm selbst, weil ihre Geschäfte davon abhingen, willkommen geheißen statt blockiert zu werden.

Freiwillige Regeln skalierten mit dem guten Willen: Wenn ein neuer Crawler auftauchte, war die Beachtung von robots.txt die Art, mit der er ankündigte, keine Malware zu sein.

Den Standard ohne Eigentümer zu lassen bedeutete, dass niemand ihn als Waffe einsetzen konnte, was jede Suchmaschine und jeden Publisher am Tisch hielt.

Ein Standard kann allein durch Übereinstimmung gewinnen: Wenn jeder Akteur dasselbe braucht – vorhersehbares Crawlen, unbehelligte Server –, überlebt eine kostenlose Konvention an einem wohlbekannten Pfad alles, was Zähne hat.

Die Konvention hielt jahrzehntelang als de facto Zugriffskontrollschicht des Webs für Crawler, und die IETF übernahm sie im September 2022 förmlich als RFC 9309, das Robots Exclusion Protocol – eine Spezifikation, die fast Wort für Wort ratifizierte, was ein Mailinglisten-Konsens 1994 festgelegt hatte.