O robots.txt comandava a camada de cortesia da web sem qualquer tipo de fiscalização

Em 1993-94, a jovem web desenvolveu um incômodo: os robôs da web — andarilhos, aranhas — percorriam páginas no próprio ritmo, sobrecarregando servidores que não haviam concordado em ser rastreados, às vezes prendendo servidores em loops ou inundando os logs. A resposta não foi uma lei nem um protocolo com fiscalização, mas um arquivo: qualquer servidor podia publicar /robots.txt, listando quais robôs eram bem-vindos em quais caminhos, e os autores de rastreadores o respeitariam.

A própria documentação do formato é a declaração mais clara de seu design. O consenso de 30 de junho de 1994 da lista de discussão de robôs era explicitamente 'não um padrão oficial respaldado por um órgão de normatização, nem de propriedade de qualquer organização comercial. Não é fiscalizado por ninguém, e não há garantia de que todos os robôs atuais e futuros o utilizem.' Pedia que fosse considerado 'um recurso comum que a maioria dos autores de robôs oferece à comunidade da WWW para proteger os servidores da WWW contra acessos indesejados.'

A voluntariedade acabou se revelando o mecanismo de fiscalização. Os mecanismos de busca — os rastreadores com mais a perder com uma reputação de mau cidadão — cumpriam escrupulosamente, e o cumprimento tornou-se o preço de ser um rastreador legítimo. A convenção vigorou por vinte e oito anos antes de o IETF lhe dar um lar formal: a RFC 9309, 'The Robots Exclusion Protocol', publicada em setembro de 2022, padronizou o que o arquivo tinha a dizer e como ele tinha de ser analisado.

Um arquivo voluntário superou qualquer regra imposta

Um caminho bem conhecido mais um formato de texto trivial tornaram o cumprimento quase gratuito para ambos os lados — sem registro, sem negociação, sem software para os donos de sites.

As partes cujo comportamento importava (os fornecedores de rastreadores) policiavam a norma por conta própria, porque seus negócios dependiam de serem bem-vindos em vez de bloqueados.

Regras voluntárias escalaram com a boa vontade: quando um novo rastreador surgia, respeitar o robots.txt era como ele anunciava que não era malware.

Deixar o padrão sem dono significou que ninguém poderia usá-lo como arma, o que manteve todos os mecanismos de busca e editores na mesa.

Um padrão pode vencer apenas pelo alinhamento: quando todos os participantes precisam da mesma coisa — rastreamento previsível, servidores não incomodados —, uma convenção de custo zero em um caminho bem conhecido sobrevive a qualquer coisa com poder de coerção.

A convenção vigorou por décadas como a camada de controle de acesso de fato da web para rastreadores, e o IETF a adotou formalmente como RFC 9309, o Robots Exclusion Protocol, em setembro de 2022 — uma especificação que ratificou, quase palavra por palavra, o que um consenso de lista de discussão havia estabelecido em 1994.