El robots.txt de Koster permitió a los sitios web indicar a los rastreadores qué omitir, y se convirtió en la regla de la web

Hacia 1993 la joven web ya tenía rastreadores que obtenían páginas automáticamente, y algunos saturaban los servidores que visitaban. Martijn Koster, que administraba un servidor en Nexor, descubrió que su máquina estaba siendo descargada a un ritmo de aproximadamente un documento por segundo por un wanderer web, y ya se quejaba de descargas automatizadas repetidas desde septiembre de 1993.

La solución obvia era controlar a los rastreadores uno por uno: localizar al operador, llamarlo o escribirle y pedirle que parara. Eso no escalaba, y los robots se multiplicaban. Así que el 25 de febrero de 1994 Koster publicó «Important: Spiders, Robots and Web Wanderers» en la lista de correo www-talk, proponiendo un estándar que «no requiere ningún cambio de servidor/cliente/protocolo»: un servidor podría publicar qué partes de su espacio de URL no debían visitar los robots.

El archivo nació como /RobotsNotWanted.txt y luego pasó a ser robots.txt — el nombre corto ganó porque los sistemas de archivos DOS limitaban la longitud de los nombres de archivo. El 3 de julio de 1994 Koster anunció «A Standard for Robot Exclusion»; la mayoría de los robots en funcionamiento ya lo usaban o habían prometido soporte. Cada rastreador simplemente obtenía el archivo antes de rastrear y obedecía sus reglas.

Lo que lo hizo perdurar fue el diseño: una URL fija y bien conocida, texto plano, sin registro central y sin aplicación coercitiva — el archivo funciona solo porque los autores de rastreadores aceptan consultarlo. Veintiocho años después, la IETF formalizó la convención como RFC 9309 (2022), que sigue siendo el estándar de la web para cómo los sitios y los bots negocian el acceso.

Un único archivo de exclusión que cada rastreador consulta: sin ley, sin registro

No requería cambios de protocolo, servidor ni navegador, así que la adopción fue un único cambio pequeño del lado del rastreador.

Una ruta fija y bien conocida dio a cada propietario de sitio un único lugar donde declarar reglas, y a cada rastreador un único lugar donde mirar.

El cumplimiento voluntario alineaba los incentivos: los rastreadores que ignoraban el archivo perdían la buena voluntad y el acceso que los hacía útiles.

Koster llevó a los principales autores de robots a la discusión de la lista de correo de 1994, de modo que el estándar de facto nació ya adoptado.

Cuando una regla no se puede imponer, diséñala de modo que cumplirla sea casi gratuito y que las partes con poder tengan incentivo para seguirla; entonces el estándar se aplica por sí mismo.

robots.txt se convirtió en el contrato de acceso por defecto de la web, respetado por motores de búsqueda y rastreadores durante tres décadas. En 2019 cumplió 25 años; en septiembre de 2022 la IETF publicó el RFC 9309, «Robots Exclusion Protocol», escrito por Koster con Gary Illyes, de Google, y otros, que añade reglas formales de manejo de errores y almacenamiento en caché. Sigue siendo central en el debate de la década de 2020 sobre los rastreadores de IA y las licencias de contenido — un formato que sobrevivió a todos los intentos de reemplazarlo.