HDF5は大規模並列データセット向けに科学データ形式を作り直し、勝利を収めた

階層データ形式（Hierarchical Data Format）は、1980年代にNCSAで、異なるコンピューティングプラットフォーム間で科学データを自己記述型ファイルとして移動させる手段として始まった。しかし1990年代後半までに、HDF4には限界があった。ファイルサイズは2GBまでに制限され、データモデルは一貫性のないクラスを持ち、実用的な並列I/Oは存在しなかった。

1998年9月、NCSAはHDF5のベータ版をリリースした。これは64ビットのアドレス空間、データセット・空間・型・グループ・ファイルを中心としたより単純なオブジェクトモデル、そしてMPI-IOを用いた効果的な並列I/Oを備えた新しい実験的バージョンだった。ソースコードは自由に入手でき、ライブラリのサイズはHDF4のおよそ3分の1だった。

HDF5は、HDFの決定的な考え方、すなわちメタデータがデータとともに移動するポータブルで自己記述型のファイルという考え方を維持した。今日、HDF GroupがBSDスタイルのライセンスの下で、ラップトップから大規模並列システムまで動作する高性能ストレージスイートとして維持しており、天文学や地球科学からゲノミクス、金融まで、700以上のGitHubプロジェクトで利用されている。

形式を再設計し、自己記述型という考え方を維持した

自己記述型ファイルにより、データはプラットフォームやチームを越えて自らの意味を運ぶことができた。

64ビットアドレッシングと並列I/Oは、到来しつつあったビッグサイエンスのコンピューティングに適合した。

オープンソースライセンスが採用へのあらゆる障壁を取り除いた。

より単純なオブジェクトモデルにより、形式の実装と拡張が容易になった。

古い形式が限界に達したときは、場当たり的に修正するのではなくモデルを再設計すること。より整理されたオブジェクトモデルとオープンなコードこそが、一つの形式を数十年分のデータに供させた要因である。

HDF5は、天文学や地球科学からゲノミクス、金融まで、科学計算と産業界の定番となった。BSDスタイルのライセンスの下で維持され、ライブラリとツールの大規模なエコシステムを伴っている。この形式は、エクサスケールシステムや機械学習のワークロードに向けて進化を続けている。