Googles Dremel speicherte Daten spaltenweise, sodass Petabyte-Abfragen in Sekunden beantwortet werden

Mitte der 2000er Jahre konnten Googles Analysten mit MapReduce riesige Berechnungen ausführen, aber jeder Job dauerte Minuten bis Stunden – zu langsam, um Daten interaktiv zu erkunden. Die Ingenieure wollten Websuchgeschwindigkeit für datenbankartige Fragen über Petabytes.

Dremel, seit 2006 im Produktivbetrieb, kombinierte zwei Ideen: spaltenweise Speicherung, die verschachtelte Datensätze so kodiert, dass eine Abfrage nur die benötigten Felder liest, und einen mehrstufigen Bedienbaum, der eine Abfrage auf Tausende Knoten verteilt und die Antworten zusammenführt. Das VLDB-Papier von 2010 berichtet von Scans über Tabellen mit 85 Milliarden Datensätzen auf Clustern mit 3.000 Knoten, wobei die meisten Abfragen in unter 10 Sekunden abgeschlossen waren.

Google brachte die Technologie im Mai 2010 auf seiner I/O-Konferenz als BigQuery auf den Markt, fügte im November 2011 eine GUI und eine REST-API hinzu und machte sie im Mai 2012 allgemein verfügbar – angepriesen als Möglichkeit für Nutzer, Terabytes an Daten zu analysieren, ohne Hardware zu kaufen.

Daten spaltenweise speichern; in Sekunden antworten

Spaltenlayout reduziert die gelesenen Bytes: Eine Abfrage berührt nur die benötigten Felder.

Baumausführung parallelisiert über Tausende Standardmaschinen.

Native SQL-ähnliche Abfragen ersetzen mehrstufige MapReduce-Pipelines.

In-situ-Zugriff liest Daten direkt aus GFS oder Bigtable, ohne Ladeschritt.

Organisiere Daten rund um die Fragen, die du stellen wirst, nicht danach, wie sie geschrieben wurden: Nur benötigte Spalten zu lesen und Arbeit einen Baum hinunterzuschieben verwandelt Jobs, die einen Batch dauerten, in Abfragen, die in ein Meeting passen.

BigQuery wurde zu einem der gängigen Cloud-Data-Warehouses, genutzt von Tausenden Unternehmen, und Dremels Spaltenformat beeinflusste spätere Systeme wie Apache Parquet. Das Papier bleibt eine der meistzitierten Arbeiten in Big-Data-Systemen.