O NetCDF conquistou os dados científicos ao fazer os arquivos descreverem a si mesmos

A ciência do clima e dos oceanos funciona com arrays enormes — grades de temperatura, correntes, saídas de modelos — e os arquivos costumavam ser opacos: um bloco binário de um programa era ilegível para o seguinte, e o significado dos números vivia em artigos ou e-mails. O NetCDF (Network Common Data Form), desenvolvido no Unidata Program Center, mudou o contrato.

A escolha de projeto é a autodescrição. Um arquivo netCDF inclui informações sobre os dados que contém, armazenadas em um formato independente de máquina, de modo que pode ser lido em computadores com diferentes formas de representar inteiros, caracteres e números de ponto flutuante. Pequenos subconjuntos de grandes conjuntos de dados podem ser obtidos eficientemente, até mesmo remotamente, e dados podem ser acrescentados sem copiar o arquivo inteiro.

Isso o tornou um padrão da comunidade, e não o formato de um único laboratório. O Unidata o descreve como um conjunto de bibliotecas e formatos de dados independentes de máquina que também é um padrão da comunidade para o compartilhamento de dados científicos, com interfaces para C, C++, Java e Fortran; o ECMWF descreve o netCDF como comumente usado para armazenar e distribuir dados científicos, com convenções como a CF padronizando os metadados.

Colocar a descrição dentro do próprio arquivo de dados

Arquivos autodescritivos dispensam documentação externa para serem lidos.

A independência de máquina permite que um arquivo transite entre arquiteturas sem alteração.

O subconjunto faz com que grandes conjuntos de dados sejam utilizáveis sem carregá-los por inteiro.

Bibliotecas gratuitas para todas as principais linguagens eliminaram o custo de adoção.

Quando os dados sobrevivem ao seu software, incorpore os metadados ao arquivo; um formato autodescritivo sobrevive a mudanças de ferramentas porque o arquivo se explica por si mesmo.

O NetCDF tornou-se a moeda comum para dados de clima e oceanos — o ECMWF o oferece ao lado de seu formato nativo GRIB, e as convenções CF padronizam os metadados dentro dele. O NetCDF-4 (2008) acrescentou recursos modernos mantendo os arquivos clássicos legíveis.