Le robots.txt de Koster permettait aux sites d’indiquer aux robots ce qu’ils devaient ignorer, et il est devenu la règle du web

En 1993, le jeune web comptait déjà des robots d’exploration qui récupéraient automatiquement des pages, et certains martelaient les serveurs qu’ils visitaient. Martijn Koster, qui exploitait un serveur chez Nexor, a constaté que sa machine était téléchargée au rythme d’environ un document par seconde par un vagabond du web, et il se plaignait déjà de téléchargements automatisés répétés dès septembre 1993.

La solution évidente consistait à surveiller les robots un par un : trouver l’opérateur, l’appeler ou lui écrire, et lui demander d’arrêter. Cela ne passait pas à l’échelle, et les robots se multipliaient. Aussi, le 25 février 1994, Koster a publié « Important: Spiders, Robots and Web Wanderers » sur la liste de diffusion www-talk, en proposant une norme qui « n’exige aucun changement de serveur, de client ou de protocole » : un serveur pouvait publier les parties de son espace d’URL que les robots ne devaient pas visiter.

Le fichier a d’abord été nommé /RobotsNotWanted.txt, puis est devenu robots.txt — le nom court l’a emporté parce que les systèmes de fichiers DOS limitaient la longueur des noms. Le 3 juillet 1994, Koster a annoncé « A Standard for Robot Exclusion » ; la plupart des robots en service l’utilisaient déjà ou avaient promis de le prendre en charge. Chaque robot d’exploration se contentait de récupérer le fichier avant d’explorer et d’en respecter les règles.

Ce qui l’a fait perdurer, c’est sa conception : une URL fixe et bien connue, du texte brut, aucun registre central et aucune application coercitive — le fichier ne fonctionne que parce que les développeurs de robots acceptent de le consulter. Vingt-huit ans plus tard, l’IETF a formalisé la convention sous la forme du RFC 9309 (2022), toujours la norme du web pour la négociation d’accès entre sites et robots.

Un fichier d’exclusion que chaque robot d’exploration consulte : ni loi, ni registre

Aucun changement de protocole, de serveur ou de navigateur n’était requis, si bien que l’adoption ne demandait qu’une petite modification du côté des robots.

Un chemin fixe et bien connu donnait à chaque propriétaire de site un seul endroit où déclarer ses règles, et à chaque robot un seul endroit où les chercher.

Le respect volontaire alignait les intérêts : les robots qui ignoraient le fichier perdaient la bonne volonté et l’accès qui les rendaient utiles.

Koster a fait participer les principaux développeurs de robots à la discussion de la liste de diffusion en 1994, si bien que la norme de fait est née déjà adoptée.

Lorsqu’une règle ne peut pas être imposée, concevez-la de sorte que s’y conformer ne coûte presque rien et que les parties qui détiennent le pouvoir aient intérêt à la suivre ; la norme s’applique alors d’elle-même.

robots.txt est devenu le contrat d’accès par défaut du web, respecté par les moteurs de recherche et les robots d’exploration pendant trois décennies. En 2019, il a fêté ses 25 ans ; en septembre 2022, l’IETF a publié le RFC 9309, « Robots Exclusion Protocol », rédigé par Koster avec Gary Illyes, de Google, et d’autres, qui ajoute des règles formelles de gestion des erreurs et de mise en cache. Il reste central dans le débat des années 2020 sur les robots d’IA et la licence de contenus — un format qui a survécu à toutes les tentatives de le remplacer.