WARC a sauvegardé le web en stockant l'historique des crawls sous forme d'enregistrements

Les premières archives web pouvaient stocker les pages récupérées, mais la relecture et la gestion à long terme exigeaient davantage que les octets de la charge utile. Les crawls devaient aussi conserver les en-têtes de requête, les en-têtes de réponse, les horodatages, les adresses IP, les empreintes, les métadonnées et les liens entre enregistrements.

La conception de WARC a fait de ce contexte un élément de première classe. Le format est une simple concaténation d'enregistrements WARC, chacun déclarant son type et ses en-têtes avant le bloc de contenu. Il peut transporter du matériel HTTP ordinaire ainsi que des métadonnées arbitraires liées aux données stockées.

La spécification WARC 1.1 indique que le format a été conçu pour structurer, gérer et stocker les archives web, prendre en charge la compression et l'intégrité, stocker les informations de contrôle issues de protocoles tels que HTTP et DNS, et enregistrer toutes les informations de contrôle du protocole de collecte.

Son adoption a été facilitée par la rétrocompatibilité avec l'ancien monde ARC : les archives pouvaient passer à des enregistrements plus riches sans abandonner les crawls existants.

Archiver la transaction, pas seulement le fichier

Il maintenait ensemble la charge utile et le contexte de capture, rendant possibles la relecture et l'audit ultérieurs.

Les types d'enregistrement permettaient à un même fichier de mêler réponses, requêtes, métadonnées et références de déduplication.

Les champs d'empreinte donnaient aux systèmes de préservation une prise d'intégrité intégrée.

Le modèle de flux ajoutable correspondait à la manière dont les crawlers collectent réellement le web.

Lorsque l'objet est contextuel, préserver la transaction qui l'entoure. Le chemin des métadonnées peut compter autant que les octets capturés.

WARC est devenu le format de fichier de travail de l'archivage web, utilisé par les bibliothèques nationales, les crawlers de recherche et les outils de préservation. Il a transformé un crawl d'un amas de pages en une piste de preuves rejouable.