O robots.txt de Koster permitiu que os sites dissessem aos rastreadores o que ignorar, e tornou-se a regra da web

Em 1993, a jovem web já tinha rastreadores que buscavam páginas automaticamente, e alguns sobrecarregavam os servidores que visitavam. Martijn Koster, que administrava um servidor na Nexor, viu sua máquina ser baixada a cerca de um documento por segundo por um vagante da web, e já reclamava de downloads automatizados repetidos desde setembro de 1993.

A solução óbvia era policiar os rastreadores um a um: encontrar o operador, ligar ou escrever, e pedir que parassem. Isso não escalava, e os robôs se multiplicavam. Assim, em 25 de fevereiro de 1994, Koster publicou "Important: Spiders, Robots and Web Wanderers" na lista de discussão www-talk, propondo um padrão que "não exige nenhuma mudança de servidor/cliente/protocolo": um servidor poderia publicar quais partes de seu espaço de URL os robôs não deveriam visitar.

O arquivo começou como /RobotsNotWanted.txt e depois se tornou robots.txt — o nome curto venceu porque os sistemas de arquivos DOS limitavam o comprimento dos nomes. Em 3 de julho de 1994, Koster anunciou "A Standard for Robot Exclusion"; a maioria dos robôs em operação já o usava ou havia prometido suporte. Cada rastreador simplesmente buscava o arquivo antes de rastrear e obedecia às suas regras.

O que o fez pegar foi o design: uma URL fixa e bem conhecida, texto simples, nenhum registro central e nenhuma aplicação coercitiva — o arquivo funciona apenas porque os criadores de rastreadores concordam em verificá-lo. Vinte e oito anos depois, a IETF formalizou a convenção como RFC 9309 (2022), ainda o padrão da web para como sites e bots negociam acesso.

Um arquivo de exclusão voluntária que todo rastreador verifica: sem lei, sem registro

Não exigia mudanças de protocolo, servidor ou navegador, então a adoção era uma única pequena mudança do lado do rastreador.

Um caminho fixo e bem conhecido deu a cada dono de site um lugar para declarar regras, e a cada rastreador um lugar para procurar.

A conformidade voluntária alinhava incentivos: os rastreadores que ignoravam o arquivo perdiam a boa vontade e o acesso que os tornavam úteis.

Koster trouxe os principais criadores de robôs para a discussão da lista de discussão de 1994, então o padrão de fato nasceu já adotado.

Quando uma regra não pode ser imposta, projete-a de modo que a conformidade seja quase gratuita e as partes com poder tenham incentivo para segui-la; então o padrão se aplica por si mesmo.

O robots.txt tornou-se o contrato de acesso padrão da web, respeitado por mecanismos de busca e rastreadores por três décadas. Em 2019, completou 25 anos; em setembro de 2022, a IETF publicou a RFC 9309, "Robots Exclusion Protocol", escrita por Koster com Gary Illyes, do Google, e outros, acrescentando regras formais de tratamento de erros e cache. Ele permanece central no debate dos anos 2020 sobre rastreadores de IA e licenciamento de conteúdo — um formato que sobreviveu a todas as tentativas de substituí-lo.