La ciencia del clima y del océano funciona con arreglos enormes —rejillas de temperatura, corrientes, resultados de modelos— y antes los archivos eran opacos: un bloque binario generado por un programa era ilegible para el siguiente, y el significado de los números vivía en artículos o correos electrónicos. NetCDF (Network Common Data Form), desarrollado en el Unidata Program Center, cambió el contrato.
La decisión de diseño es la autodescripción. Un archivo netCDF incluye información sobre los datos que contiene, almacenada en un formato independiente de la máquina, de modo que puede leerse en computadoras con distintas formas de representar enteros, caracteres y números de punto flotante. Pueden obtenerse de forma eficiente pequeños subconjuntos de grandes conjuntos de datos, incluso de forma remota, y pueden añadirse datos sin copiar el archivo entero.
Eso lo convirtió en un estándar de la comunidad y no en el formato de un solo laboratorio. Unidata lo describe como un conjunto de bibliotecas y formatos de datos independientes de la máquina que es además un estándar de la comunidad para compartir datos científicos, con interfaces para C, C++, Java y Fortran; el ECMWF describe netCDF como un formato de uso común para almacenar y distribuir datos científicos, con convenciones como CF que estandarizan los metadatos.
Poner la descripción dentro del propio archivo de datos
Los archivos autodescriptivos no necesitan documentación externa para poder leerse.
La independencia de la máquina permite que un mismo archivo se traslade entre arquitecturas sin cambios.
La extracción de subconjuntos hace que grandes conjuntos de datos sean utilizables sin cargarlos por completo.
Las bibliotecas gratuitas para todos los lenguajes principales eliminaron el costo de adopción.
Cuando los datos sobreviven al software que los creó, conviene incorporar los metadatos en el archivo; un formato autodescriptivo perdura a través de los cambios de herramientas porque el archivo se explica a sí mismo.
NetCDF se convirtió en la moneda común para los datos del clima y del océano: el ECMWF lo ofrece junto a su formato nativo GRIB, y las convenciones CF estandarizan los metadatos que contiene. NetCDF-4 (2008) añadió características modernas sin dejar de permitir la lectura de los archivos clásicos.
CONSULTA LAS PRUEBAS
Las fuentes
- NetCDF Software NSF Unidata (UCAR) · unidata.ucar.edu
- What are NetCDF files and how can I read them ECMWF Copernicus Knowledge Base · confluence.ecmwf.int ·