Frühe Webarchive konnten abgerufene Seiten speichern, doch für Replay und langfristige Verwaltung war mehr als nur die Nutzdaten-Bytes nötig. Crawls mussten auch Anfrage-Header, Antwort-Header, Zeitstempel, IP-Adressen, Digests, Metadaten und Verknüpfungen zwischen Datensätzen enthalten.
Das Design von WARC machte diesen Kontext zu einem erstklassigen Bestandteil. Das Format ist eine einfache Verkettung von WARC-Datensätzen, von denen jeder vor dem Inhaltsblock seinen Typ und seine Header angibt. Es kann gewöhnliches HTTP-Material und auch beliebige Metadaten tragen, die mit gespeicherten Daten verknüpft sind.
Die WARC-1.1-Spezifikation besagt, dass das Format entwickelt wurde, um Webarchive zu strukturieren, zu verwalten und zu speichern, Kompression und Integrität zu unterstützen, Steuerinformationen aus Protokollen wie HTTP und DNS zu speichern und alle Steuerinformationen aus dem Ernteprotokoll aufzuzeichnen.
Seine Verbreitung wurde durch die Abwärtskompatibilität mit der älteren ARC-Welt begünstigt: Archive konnten zu reichhaltigeren Datensätzen übergehen, ohne bestehende Crawls aufzugeben.
Die Transaktion archivieren, nicht nur die Datei
Es hielt Nutzdaten und Erfassungskontext zusammen und ermöglichte so späteres Replay und Audit.
Datensatztypen erlaubten es, in einer Datei Antworten, Anfragen, Metadaten und Deduplizierungsverweise zu mischen.
Digest-Felder gaben Erhaltungssystemen einen eingebauten Integritätsanker.
Das anhängbare Stream-Modell entsprach der Art und Weise, wie Crawler das Web tatsächlich sammeln.
Wenn das Objekt kontextbezogen ist, sollte die Transaktion darum herum erhalten bleiben. Der Metadatenpfad kann ebenso wichtig sein wie die erfassten Bytes.
WARC wurde zum Arbeitsdateiformat der Webarchivierung und wird von Nationalbibliotheken, Forschungs-Crawlern und Erhaltungswerkzeugen verwendet. Es verwandelte einen Crawl von einem Haufen Seiten in eine wiedergabefähige Beweiskette.
DEN BELEGEN FOLGEN
Die Quellen
- The WARC Format 1.1 International Internet Preservation Consortium · iipc.github.io