解決方案
早期的網路典藏雖能儲存抓取到的頁面,但重播與長期管理所需的並不只是內容位元組。抓取過程還需要請求標頭、回應標頭、時間戳、IP 位址、摘要、中介資料,以及記錄之間的連結。
WARC 的設計讓這些脈絡成為格式的一等公民。此格式只是把一連串 WARC 記錄簡單串接起來,每筆記錄在內容區塊之前先宣告自身的類型與標頭。它既能承載一般的 HTTP 素材,也能承載與所存資料相連結的任意中介資料。
WARC 1.1 規格指出,此格式的設計目的在於結構化、管理與儲存網路典藏,支援壓縮與完整性,儲存來自 HTTP、DNS 等協定的控制資訊,並記錄採集協定所產生的所有控制資訊。
它之所以能被廣泛採用,部分歸功於與較舊 ARC 世界的向後相容:典藏得以轉向更豐富的記錄,而不必捨棄既有的抓取成果。
達成了什麼
典藏整個交易,而不只是檔案
為何奏效
它把內容與擷取脈絡保存在一起,使日後的重播與稽核得以進行。
記錄類型讓同一個檔案能混合回應、請求、中介資料與去重參照。
摘要欄位為保存系統提供了內建的完整性依據。
可附加的串流模型契合爬蟲實際蒐集網路的方式。
可套用之處
當物件本身帶有脈絡時,應連同其周遭的交易一併保存。中介資料的途徑,可能與所擷取的位元組同樣重要。
後續發展
WARC 成為網路典藏的工作檔案格式,為國家圖書館、研究用爬蟲與保存工具所採用。它讓一次抓取從一堆頁面,轉變為可重播的證據軌跡。
追溯依據
參考來源
- The WARC Format 1.1 International Internet Preservation Consortium · iipc.github.io