HDF5는 대규모 병렬 데이터셋을 위한 과학 데이터 형식을 재설계하여 성공을 거두었다

계층적 데이터 형식(Hierarchical Data Format)은 1980년대 NCSA에서 서로 다른 컴퓨팅 플랫폼 간에 과학 데이터를 자기 서술적 파일로 옮기기 위한 방법으로 시작되었다. 그러나 1990년대 후반에 이르러 HDF4에는 한계가 있었다. 파일 크기가 2GB로 제한되었고, 데이터 모델의 클래스가 일관되지 않았으며, 실질적인 병렬 I/O가 없었다.

1998년 9월 NCSA는 HDF5 베타를 출시했다. 이는 64비트 주소 공간, 데이터셋·공간·타입·그룹·파일을 중심으로 한 더 단순한 객체 모델, 그리고 MPI-IO를 사용하는 효과적인 병렬 I/O를 갖춘 새로운 실험적 버전이었다. 소스는 무료로 제공되었고, 라이브러리 크기는 HDF4의 약 3분의 1이었다.

HDF5는 HDF의 핵심 개념, 즉 메타데이터가 데이터와 함께 이동하는 이식 가능한 자기 서술적 파일이라는 개념을 유지했으며, 오늘날 HDF Group이 BSD 스타일 라이선스 하에 노트북에서 대규모 병렬 시스템까지 아우르는 고성능 스토리지 제품군으로 유지 관리하고 있다. 천문학과 지구과학에서 유전체학과 금융에 이르는 분야의 700개 이상의 GitHub 프로젝트가 이를 사용한다.

형식을 재설계하고 자기 서술적 개념을 유지했다

자기 서술적 파일 덕분에 데이터가 플랫폼과 팀을 넘어 자체적인 의미를 지닐 수 있었다.

64비트 주소 지정과 병렬 I/O는 도래하던 대규모 과학 컴퓨팅에 적합했다.

오픈 소스 라이선스는 도입의 모든 장벽을 제거했다.

더 단순한 객체 모델 덕분에 형식을 구현하고 확장하기가 더 쉬워졌다.

기존 형식이 한계에 부딪히면 이를 덧붙여 고치기보다 모델을 재설계하라. 더 깔끔한 객체 모델과 공개 코드가 있었기에 하나의 형식이 수십 년간의 데이터를 감당할 수 있었다.

HDF5는 천문학과 지구과학에서 유전체학과 금융에 이르기까지 과학 컴퓨팅과 산업의 필수 요소가 되었으며, 방대한 라이브러리와 도구 생태계를 갖춘 BSD 스타일 라이선스 하에 유지 관리되고 있다. 이 형식은 엑사스케일 시스템과 머신러닝 워크로드를 위해 계속 진화하고 있다.