Los primeros archivos web podían almacenar las páginas obtenidas, pero la reproducción y la gestión a largo plazo necesitaban más que los bytes del contenido. Los rastreos también necesitaban encabezados de solicitud, encabezados de respuesta, marcas de tiempo, direcciones IP, resúmenes criptográficos, metadatos y enlaces entre registros.
El diseño de WARC hizo que ese contexto fuera parte fundamental del formato. El formato es una simple concatenación de registros WARC, cada uno de los cuales declara su tipo y sus encabezados antes del bloque de contenido. Puede transportar material HTTP ordinario y también metadatos arbitrarios vinculados a los datos almacenados.
La especificación WARC 1.1 indica que el formato se diseñó para estructurar, gestionar y almacenar archivos web, admitir compresión e integridad, almacenar información de control de protocolos como HTTP y DNS, y registrar toda la información de control del protocolo de recolección.
Su adopción se vio favorecida por la compatibilidad retrospectiva con el mundo anterior de ARC: los archivos podían pasar a registros más ricos sin abandonar los rastreos existentes.
Archivar la transacción, no solo el archivo
Mantuvo juntos el contenido y el contexto de captura, lo que hizo posible la reproducción y la auditoría posteriores.
Los tipos de registro permiten que un solo archivo mezcle respuestas, solicitudes, metadatos y referencias de deduplicación.
Los campos de resumen criptográfico dieron a los sistemas de preservación un mecanismo de integridad incorporado.
El modelo de flujo ampliable coincidía con la forma en que los rastreadores realmente recopilan la web.
Cuando el objeto es contextual, preservar la transacción que lo rodea. La ruta de los metadatos puede importar tanto como los bytes capturados.
WARC se convirtió en el formato de archivo de trabajo de la archivística web, utilizado por bibliotecas nacionales, rastreadores de investigación y herramientas de preservación. Convirtió un rastreo de un montón de páginas en un rastro de evidencia reproducible.
CONSULTA LAS PRUEBAS
Las fuentes
- The WARC Format 1.1 International Internet Preservation Consortium · iipc.github.io