robots.txt는 웹의 예의 계층을 운영했지만 아무런 강제력도 없었다

1993-94년, 어린 웹은 하나의 골칫거리를 키웠다. 웹 로봇 — 배회자, 거미 — 은 자기 마음대로 페이지를 돌아다니며 크롤링에 동의한 적 없는 서버를 두들겼고, 때로는 서버를 루프에 가두거나 로그를 범람시켰다. 이에 대한 대응은 법이나 강제력을 갖춘 프로토콜이 아니라 파일이었다. 어떤 서버든 /robots.txt를 게시하여 어느 로봇이 어느 경로에서 환영받는지 나열할 수 있었고, 크롤러 작성자들은 이를 존중했다.

이 형식 자체의 문서가 그 설계를 가장 명확히 보여준다. 1994년 6월 30일 robots 메일링 리스트의 합의는 명시적으로 '표준 기구가 뒷받침하거나 어떤 상업 조직이 소유한 공식 표준이 아니다. 누구에 의해서도 강제되지 않으며, 현재와 미래의 모든 로봇이 이를 사용하리라는 보장도 없다'고 밝혔다. 이는 자신을 '다수의 로봇 작성자가 원치 않는 접근으로부터 WWW 서버를 보호하기 위해 WWW 커뮤니티에 제공하는 공동 설비'로 간주해 달라고 요청했다.

자발성은 결국 강제 메커니즘으로 드러났다. 나쁜 시민이라는 평판에서 가장 잃을 것이 많은 크롤러인 검색 엔진들은 이를 꼼꼼히 준수했고, 준수가 곧 정당한 크롤러가 되기 위한 대가가 되었다. 이 관행은 IETF가 공식적인 자리를 부여하기까지 28년간 유지되었다. 2022년 9월에 발표된 RFC 9309, '로봇 배제 프로토콜'은 이 파일이 무엇을 말해야 하고 어떻게 파싱되어야 하는지를 표준화했다.

자발적 파일이 어떤 강제 규칙도 이겼다

잘 알려진 경로와 사소할 정도로 단순한 텍스트 형식 덕분에 준수 비용이 양측 모두에게 거의 무료였다 — 등록도, 협상도, 사이트 소유자를 위한 소프트웨어도 필요 없었다.

행동이 중요했던 당사자들(크롤러 공급자들)은 스스로 규범을 단속했다. 그들의 사업이 차단이 아니라 환영받는 데 달려 있었기 때문이다.

자발적 규칙은 선의에 따라 확장되었다. 새 크롤러가 등장했을 때 robots.txt를 존중하는 것이 곧 악성코드가 아님을 알리는 방식이었다.

표준을 소유하지 않은 채 두었기에 누구도 그것을 무기화할 수 없었고, 그 덕에 모든 검색 엔진과 퍼블리셔가 논의의 장에 남을 수 있었다.

표준은 정렬만으로도 이길 수 있다. 모든 참여자가 같은 것을 필요로 할 때 — 예측 가능한 크롤링, 방해받지 않는 서버 — 잘 알려진 경로의 비용 없는 관행은 이빨 있는 어떤 것보다 오래 산다.

이 관행은 수십 년간 크롤러에 대한 웹의 사실상 접근 제어 계층으로 유지되었고, IETF는 2022년 9월 로봇 배제 프로토콜인 RFC 9309로 이를 공식 채택했다 — 1994년 메일링 리스트 합의가 정한 것을 거의 그대로 비준한 명세였다.