HDF5 reconstruyó el formato de datos científicos para grandes conjuntos de datos paralelos y ganó

El Formato de Datos Jerárquico comenzó en el NCSA en la década de 1980 como una forma de trasladar datos científicos entre distintas plataformas informáticas en un archivo autodescriptivo. Pero a finales de la década de 1990 HDF4 tenía límites: archivos con un tope de 2 GB, un modelo de datos con clases inconsistentes y ninguna E/S paralela real.

En septiembre de 1998 el NCSA publicó la beta de HDF5: una nueva versión experimental con un espacio de direcciones de 64 bits, un modelo de objetos más simple construido en torno a conjuntos de datos, espacios, tipos, grupos y archivos, y una E/S paralela efectiva mediante MPI-IO. El código fuente estaba disponible gratuitamente, y la biblioteca era aproximadamente un tercio del tamaño de HDF4.

HDF5 conservó la idea definitoria de HDF —un archivo portátil y autodescriptivo en el que los metadatos viajan con los datos— y hoy el HDF Group lo mantiene bajo una licencia de estilo BSD como una suite de almacenamiento de alto rendimiento que funciona desde portátiles hasta sistemas masivamente paralelos, con más de 700 proyectos en GitHub en campos que van desde la astronomía y las ciencias de la Tierra hasta la genómica y las finanzas.

Rediseñar el formato, conservar la idea autodescriptiva

Los archivos autodescriptivos hacían que los datos llevaran su propio significado entre plataformas y equipos.

El direccionamiento de 64 bits y la E/S paralela encajaban con la informática de gran ciencia que estaba llegando.

La licencia de código abierto eliminó toda barrera para su adopción.

Un modelo de objetos más simple hizo que el formato fuera más fácil de implementar y extender.

Cuando el formato antiguo alcanza sus límites, rediseñar el modelo en lugar de parchearlo: un modelo de objetos más limpio junto con código abierto es lo que permitió que un solo formato sirviera durante décadas de datos.

HDF5 se convirtió en un elemento fijo de la informática científica y de la industria, desde la astronomía y las ciencias de la Tierra hasta la genómica y las finanzas, mantenido bajo una licencia de estilo BSD con un gran ecosistema de bibliotecas y herramientas; el formato sigue evolucionando para sistemas exaescala y cargas de trabajo de aprendizaje automático.