NetCDF a conquis les données scientifiques en faisant en sorte que les fichiers se décrivent eux-mêmes

La science du climat et des océans repose sur d'énormes tableaux — grilles de température, courants, sorties de modèles — et les fichiers étaient autrefois opaques : un bloc binaire produit par un programme était illisible par le suivant, et la signification des nombres vivait dans des articles ou des courriels. NetCDF (Network Common Data Form), développé au Unidata Program Center, a changé le contrat.

Le choix de conception est l'auto-description. Un fichier netCDF inclut des informations sur les données qu'il contient, stockées dans un format indépendant de la machine, de sorte qu'il peut être lu sur des ordinateurs ayant différentes manières de représenter les entiers, les caractères et les nombres à virgule flottante. De petits sous-ensembles de grands jeux de données peuvent être récupérés efficacement, même à distance, et des données peuvent être ajoutées sans copier le fichier entier.

Cela en a fait une norme communautaire plutôt que le format d'un seul laboratoire. Unidata le décrit comme un ensemble de bibliothèques et de formats de données indépendants de la machine qui constitue aussi une norme communautaire pour le partage de données scientifiques, avec des interfaces pour C, C++, Java et Fortran ; le CEPMMT décrit netCDF comme couramment utilisé pour stocker et distribuer des données scientifiques, avec des conventions comme CF qui normalisent les métadonnées.

Placer la description à l'intérieur du fichier de données

Les fichiers auto-descriptifs n'ont besoin d'aucune documentation externe pour être lus.

L'indépendance vis-à-vis de la machine permet à un même fichier de passer d'une architecture à l'autre sans modification.

Le sous-ensemble signifie que d'énormes jeux de données sont utilisables sans les charger en entier.

Des bibliothèques gratuites pour chaque langage majeur ont supprimé le coût de l'adoption.

Lorsque les données survivent à leur logiciel, intégrez les métadonnées dans le fichier ; un format auto-descriptif survit aux changements d'outils parce que le fichier s'explique lui-même.

NetCDF est devenu la monnaie d'échange courante pour les données climatiques et océaniques — le CEPMMT le propose aux côtés de son format natif GRIB, et les conventions CF normalisent les métadonnées qu'il contient. NetCDF-4 (2008) a ajouté des fonctionnalités modernes tout en gardant les fichiers classiques lisibles.