WARC는 크롤링 이력을 레코드로 저장하여 웹을 보존했다

초기 웹 아카이브는 가져온 페이지를 저장할 수 있었지만, 재생과 장기 관리를 위해서는 페이로드 바이트 이상의 것이 필요했다. 크롤링에는 요청 헤더, 응답 헤더, 타임스탬프, IP 주소, 다이제스트, 메타데이터 및 레코드 간 링크도 필요했다.

WARC의 설계는 이러한 맥락을 일급 요소로 만들었다. 이 형식은 WARC 레코드의 단순한 연결이며, 각 레코드는 콘텐츠 블록 앞에 유형과 헤더를 선언한다. 일반적인 HTTP 자료를 담을 수 있을 뿐만 아니라 저장된 데이터에 연결된 임의의 메타데이터도 담을 수 있다.

WARC 1.1 사양에 따르면, 이 형식은 웹 아카이브를 구조화, 관리 및 저장하고, 압축과 무결성을 지원하며, HTTP 및 DNS와 같은 프로토콜의 제어 정보를 저장하고, 수집 프로토콜의 모든 제어 정보를 기록하도록 설계되었다.

그 채택은 구형 ARC 세계와의 하위 호환성 덕분에 도움을 받았다. 아카이브는 기존 크롤링을 버리지 않고 더 풍부한 레코드로 이동할 수 있었다.

파일만이 아니라 트랜잭션을 아카이빙하라

페이로드와 캡처 맥락을 함께 유지하여 이후 재생과 감사가 가능하게 했다.

레코드 유형을 통해 하나의 파일에 응답, 요청, 메타데이터 및 중복 제거 참조를 혼합할 수 있었다.

다이제스트 필드는 보존 시스템에 내장된 무결성 수단을 제공했다.

추가 가능한 스트림 모델은 크롤러가 실제로 웹을 수집하는 방식과 일치했다.

객체가 맥락적일 때, 그 주변의 트랜잭션을 보존하라. 메타데이터 경로는 캡처된 바이트만큼 중요할 수 있다.

WARC는 국가 도서관, 연구 크롤러 및 보존 도구에서 사용되는 웹 아카이빙의 실무 파일 형식이 되었다. 그것은 크롤링을 페이지 더미에서 재생 가능한 증거 추적으로 바꾸었다.