El Dremel de Google almacenaba datos en columnas, por lo que las consultas de petabytes se responden en segundos

A mediados de la década de 2000, los analistas de Google podían ejecutar cálculos enormes con MapReduce, pero cada trabajo tardaba de minutos a horas, demasiado lento para explorar datos de forma interactiva. Los ingenieros querían la velocidad de la búsqueda web para preguntas de estilo base de datos sobre petabytes.

Dremel, en producción desde 2006, combinó dos ideas: almacenamiento columnar que codifica registros anidados para que una consulta lea solo los campos que necesita, y un árbol de servicio multinivel que distribuye una consulta a miles de nodos y agrega las respuestas. El artículo de VLDB de 2010 informa escaneos de tablas de 85 mil millones de registros en clústeres de 3000 nodos, con la mayoría de las consultas terminando en menos de 10 segundos.

Google lanzó la tecnología como BigQuery en su conferencia I/O en mayo de 2010, agregó una GUI y una API REST en noviembre de 2011, y la puso a disponibilidad general en mayo de 2012, presentándola como una forma de permitir a los usuarios analizar terabytes de datos sin comprar hardware.

Almacenar datos por columna; responder en segundos

El diseño columnar reduce los bytes leídos: una consulta toca solo los campos necesarios.

La ejecución en árbol paraleliza entre miles de máquinas de uso general.

Las consultas nativas similares a SQL reemplazan las canalizaciones de MapReduce de varios pasos.

El acceso in situ lee datos directamente de GFS o Bigtable, sin paso de carga.

Organiza los datos en torno a las preguntas que harás, no a la forma en que se escribieron: leer solo las columnas necesarias y empujar el trabajo por un árbol convierte trabajos que tomaban un lote en consultas que caben en una reunión.

BigQuery se convirtió en uno de los almacenes de datos en la nube convencionales, usado por miles de empresas, y el formato columnar de Dremel influyó en sistemas posteriores como Apache Parquet. El artículo sigue siendo uno de los trabajos más citados en sistemas de big data.