Koster의 robots.txt는 웹사이트가 크롤러에게 건너뛸 것을 알리게 했고, 웹의 규칙이 되었다

1993년까지 어린 웹에는 페이지를 자동으로 가져오는 크롤러들이 있었고, 일부는 방문한 서버를 강하게 두드렸다. Nexor에서 서버를 운영하던 Martijn Koster는 자신의 기계가 웹 방랑자(web wanderer)에 의해 대략 초당 문서 하나 속도로 다운로드되는 것을 발견했고, 이미 1993년 9월부터 반복적인 자동 다운로드에 대해 불평하고 있었다.

명백한 해결책은 크롤러를 하나씩 단속하는 것이었다. 운영자를 찾아 전화하거나 편지를 보내 멈추도록 요청하는 것이다. 그것은 확장되지 않았고, 로봇은 늘어나고 있었다. 그래서 1994년 2월 25일 Koster는 www-talk 메일링 리스트에 '중요: 스파이더, 로봇 및 웹 방랑자'를 게시하며 '서버/클라이언트/프로토콜 변경이 전혀 필요 없는' 표준을 제안했다. 즉 서버가 자신의 URL 공간 중 로봇이 방문하지 말아야 할 부분을 게시할 수 있게 하는 것이었다.

그 파일은 처음에 /RobotsNotWanted.txt로 시작했다가 robots.txt가 되었다. 짧은 이름이 이긴 이유는 DOS 파일 시스템이 파일명 길이를 제한했기 때문이다. 1994년 7월 3일 Koster는 '로봇 배제 표준'을 발표했고, 당시 운영 중이던 대부분의 로봇은 이미 이를 사용하고 있었거나 지원을 약속한 상태였다. 각 크롤러는 크롤링 전에 단순히 그 파일을 가져와 규칙을 따랐다.

이것이 자리 잡은 이유는 설계였다. 고정된 잘 알려진 URL, 평문, 중앙 등록부 없음, 강제 집행 없음. 이 파일은 크롤러 작성자들이 이를 확인하기로 동의하기 때문에만 작동한다. 28년 후 IETF는 이 관행을 RFC 9309(2022)로 공식화했고, 이는 여전히 사이트와 봇이 접근을 협상하는 방식에 대한 웹의 표준이다.

모든 크롤러가 확인하는 하나의 옵트아웃 파일: 법도, 등록부도 없이

프로토콜, 서버, 브라우저 변경이 필요 없었기에 채택은 크롤러 측의 작은 변경 하나로 끝났다.

고정된 잘 알려진 경로는 모든 사이트 소유자에게 규칙을 선언할 한 곳을, 모든 크롤러에게 확인할 한 곳을 제공했다.

자발적 준수는 인센티브와 맞아떨어졌다. 파일을 무시한 크롤러는 자신을 유용하게 만든 호의와 접근을 잃었다.

Koster는 주요 로봇 작성자들을 1994년 메일링 리스트 논의로 끌어들였기에, 사실상의 표준은 이미 채택된 상태로 태어났다.

규칙을 강제할 수 없을 때는 준수 비용이 거의 들지 않도록 설계하고, 권력을 가진 당사자들이 그것을 따를 인센티브를 갖게 하라. 그러면 표준은 스스로를 강제한다.

robots.txt는 웹의 기본 접근 계약이 되어 30년 동안 검색 엔진과 크롤러의 존중을 받았다. 2019년에 25주년을 맞았고, 2022년 9월 IETF는 Koster가 Google의 Gary Illyes 등과 함께 작성한 RFC 9309 '로봇 배제 프로토콜'을 발표하며 공식적인 오류 처리와 캐싱 규칙을 추가했다. 이는 2020년대 AI 크롤러와 콘텐츠 라이선싱 논쟁에서도 여전히 중심에 있다. 모든 대체 시도를 앞질러 살아남은 형식이다.