robots.txt gestionaba la capa de cortesía de la web sin ningún tipo de aplicación coercitiva

En 1993-94 la joven web desarrolló una molestia: los robots web —vagabundos, arañas— recorrían las páginas a su propio ritmo, saturando servidores que no habían aceptado ser rastreados, a veces atrapando servidores en bucles o inundando los registros. La respuesta no fue una ley ni un protocolo con aplicación coercitiva, sino un archivo: cualquier servidor podía publicar /robots.txt, enumerando qué robots eran bienvenidos en qué rutas, y los autores de rastreadores lo respetarían.

La propia documentación del formato es la declaración más clara de su diseño. El consenso del 30 de junio de 1994 de la lista de correo de robots era explícitamente «no un estándar oficial respaldado por un organismo de normalización, ni propiedad de ninguna organización comercial. No lo aplica nadie, y no hay garantía de que todos los robots actuales y futuros lo utilicen». Pedía que se considerara «una facilidad común que la mayoría de los autores de robots ofrecen a la comunidad de la WWW para proteger los servidores de la WWW contra accesos no deseados».

La voluntariedad resultó ser el mecanismo de aplicación. Los motores de búsqueda —los rastreadores con más que perder ante una reputación de mal ciudadano— cumplían escrupulosamente, y el cumplimiento se convirtió en el precio de ser un rastreador legítimo. La convención funcionó durante veintiocho años antes de que la IETF le diera un hogar formal: la RFC 9309, «The Robots Exclusion Protocol», publicada en septiembre de 2022, estandarizó lo que el archivo debía decir y cómo debía analizarse.

Un archivo voluntario superó a cualquier regla impuesta

Una ruta bien conocida más un formato de texto trivial hicieron que el cumplimiento fuera casi gratuito para ambas partes: sin registro, sin negociación, sin software para los propietarios de sitios.

Las partes cuyo comportamiento importaba (los proveedores de rastreadores) vigilaban la norma por sí mismas, porque sus negocios dependían de ser bienvenidos en lugar de bloqueados.

Las reglas voluntarias escalaron con la buena voluntad: cuando aparecía un nuevo rastreador, respetar robots.txt era cómo anunciaba que no era malware.

Dejar el estándar sin propietario significó que nadie pudiera usarlo como arma, lo que mantuvo a todos los motores de búsqueda y editores en la mesa.

Un estándar puede ganar solo por alineación: cuando todos los actores necesitan lo mismo —rastreo predecible, servidores sin molestias—, una convención de costo cero en una ruta bien conocida sobrevive más que cualquier cosa con dientes.

La convención se mantuvo durante décadas como la capa de control de acceso de facto de la web para los rastreadores, y la IETF la adoptó formalmente como RFC 9309, el Robots Exclusion Protocol, en septiembre de 2022: una especificación que ratificó, casi palabra por palabra, lo que un consenso de lista de correo había resuelto en 1994.