早期的网络归档可以存储抓取到的页面,但重放和长期管理需要的不仅仅是有效载荷字节。抓取还需要请求头、响应头、时间戳、IP 地址、摘要、元数据以及记录之间的链接。

WARC 的设计使这些上下文成为一等公民。该格式是 WARC 记录的简单串联,每条记录在内容块之前声明其类型和头部。它既可以承载普通的 HTTP 材料,也可以承载与所存数据相关联的任意元数据。

WARC 1.1 规范指出,该格式旨在结构化、管理和存储网络归档,支持压缩和完整性,存储来自 HTTP 和 DNS 等协议的控制信息,并记录采集协议的所有控制信息。

它与更早的 ARC 世界的向后兼容性帮助了其采用:归档可以迁移到更丰富的记录,而无需放弃现有的抓取数据。

归档事务,而不仅仅是文件

它将有效载荷与捕获上下文保持在一起,使后续的重放和审计成为可能。

记录类型让一个文件可以混合响应、请求、元数据和去重引用。

摘要字段为保存系统提供了内置的完整性抓手。

可追加的流模型契合了爬虫实际收集网络的方式。

当对象具有上下文时,保留其周围的事务。元数据路径可能与捕获的字节同样重要。

WARC 成为网络归档的工作文件格式,被国家图书馆、研究爬虫和保存工具所使用。它将一次抓取从一堆页面转变为可重放的证据链。

从这里,追溯依据

参考来源

  1. The WARC Format 1.1 International Internet Preservation Consortium · iipc.github.io