Klima- und Ozeanwissenschaft beruht auf riesigen Arrays – Temperaturgittern, Strömungen, Modellausgaben – und die Dateien waren früher undurchsichtig: Ein binärer Datenblock aus einem Programm war für das nächste unlesbar, und die Bedeutung der Zahlen lebte in Artikeln oder E-Mails. NetCDF (Network Common Data Form), entwickelt am Unidata Program Center, änderte den Vertrag.
Die Designentscheidung ist die Selbstbeschreibung. Eine NetCDF-Datei enthält Informationen über die darin enthaltenen Daten, gespeichert in einem maschinenunabhängigen Format, sodass sie auf Computern mit unterschiedlichen Darstellungen für Ganzzahlen, Zeichen und Gleitkommazahlen gelesen werden kann. Kleine Teilmengen großer Datensätze können effizient abgerufen werden, sogar remote, und Daten können angehängt werden, ohne die ganze Datei zu kopieren.
Das machte es zu einem Gemeinschaftsstandard statt zu einem Format eines einzelnen Labors. Unidata bezeichnet es als eine Sammlung von Bibliotheken und maschinenunabhängigen Datenformaten, die zugleich ein Gemeinschaftsstandard für den Austausch wissenschaftlicher Daten ist, mit Schnittstellen für C, C++, Java und Fortran; das ECMWF beschreibt NetCDF als häufig verwendet, um wissenschaftliche Daten zu speichern und zu verteilen, wobei Konventionen wie CF die Metadaten standardisieren.
Die Beschreibung in die Datendatei selbst legen
Selbstbeschreibende Dateien benötigen keine externe Dokumentation, um gelesen zu werden.
Maschinenunabhängigkeit lässt eine Datei unverändert über Architekturen wandern.
Teilmengenbildung bedeutet, dass riesige Datensätze nutzbar sind, ohne sie vollständig zu laden.
Kostenlose Bibliotheken für jede wichtige Sprache beseitigten die Kosten der Einführung.
Wenn Daten ihre Software überleben, bette die Metadaten in die Datei ein; ein selbstbeschreibendes Format übersteht Werkzeugwechsel, weil die Datei sich selbst erklärt.
NetCDF wurde zur gemeinsamen Währung für Klima- und Ozeandaten – das ECMWF bietet es neben seinem nativen GRIB-Format an, und die CF-Konventionen standardisieren die Metadaten darin. NetCDF-4 (2008) fügte moderne Funktionen hinzu, während klassische Dateien lesbar blieben.
DEN BELEGEN FOLGEN
Die Quellen
- NetCDF Software NSF Unidata (UCAR) · unidata.ucar.edu
- What are NetCDF files and how can I read them ECMWF Copernicus Knowledge Base · confluence.ecmwf.int ·