robots.txt a fait fonctionner la couche de politesse du web sans aucune application forcée

En 1993-94, le jeune web développa une nuisance : les robots du web — rôdeurs, araignées — parcouraient les pages à leur propre rythme, martelant des serveurs qui n'avaient pas accepté d'être explorés, piégeant parfois les serveurs dans des boucles ou submergeant les journaux. La réponse ne fut ni une loi ni un protocole avec application forcée, mais un fichier : tout serveur pouvait publier /robots.txt, listant quels robots étaient les bienvenus sur quels chemins, et les auteurs de robots d'exploration l'honoraient.

La documentation du format est elle-même la déclaration la plus claire de sa conception. Le consensus du 30 juin 1994 de la liste de diffusion robots était explicitement « not an official standard backed by a standards body, or owned by any commercial organisation. It is not enforced by anybody, and there is no guarantee that all current and future robots will use it. » Il demandait à être considéré comme « a common facility the majority of robot authors offer the WWW community to protect WWW servers against unwanted accesses. »

Le caractère volontaire s'avéra être le mécanisme d'application. Les moteurs de recherche — les robots d'exploration ayant le plus à perdre d'une réputation de mauvais citoyen — s'y conformaient scrupuleusement, et la conformité devint le prix à payer pour être un robot d'exploration légitime. La convention fonctionna pendant vingt-huit ans avant que l'IETF ne lui donne un foyer formel : la RFC 9309, « The Robots Exclusion Protocol », publiée en septembre 2022, a normalisé ce que le fichier devait dire et comment il devait être analysé.

Un fichier volontaire a battu toute règle imposée

Un chemin bien connu plus un format texte trivial rendaient la conformité presque gratuite pour les deux parties — pas d'enregistrement, pas de négociation, pas de logiciel pour les propriétaires de sites.

Les parties dont le comportement importait (les fournisseurs de robots d'exploration) faisaient elles-mêmes respecter la norme, car leurs activités dépendaient du fait d'être accueillies plutôt que bloquées.

Les règles volontaires s'étendaient avec la bonne volonté : quand un nouveau robot d'exploration apparaissait, honorer robots.txt était sa façon d'annoncer qu'il n'était pas un logiciel malveillant.

Laisser la norme sans propriétaire signifiait que personne ne pouvait l'utiliser comme arme, ce qui maintenait chaque moteur de recherche et éditeur à la table.

Une norme peut l'emporter par le seul alignement : quand chaque acteur a besoin de la même chose — une exploration prévisible, des serveurs non dérangés — une convention à coût nul à un chemin bien connu survit à tout ce qui a des dents.

La convention a tenu pendant des décennies comme couche de contrôle d'accès de facto du web pour les robots d'exploration, et l'IETF l'a formellement adoptée comme RFC 9309, le Robots Exclusion Protocol, en septembre 2022 — une spécification qui a ratifié, presque mot pour mot, ce qu'un consensus de liste de diffusion avait réglé en 1994.