GitLab übertrug seine eigene Datenverlust-Wiederherstellung live

Am 31. Januar 2017 löschte ein müder GitLab-Ingenieur, der versuchte, ein Replikationsproblem zu beheben, versehentlich das primäre Produktionsdatenbankverzeichnis des Unternehmens statt einer sekundären Replik, und vernichtete damit rund 300 GB Live-Daten, darunter Projekte, Kommentare, Issues und Benutzerkonten. Während das Team verzweifelt versuchte, den Dienst wiederherzustellen, entdeckte es ein zweites, weit schlimmeres Problem: Alle fünf offiziellen Backup-Mechanismen von GitLab – geplante Dumps, Disk-Snapshots, Replikation – waren seit Wochen stillschweigend fehlgeschlagen, einige aufgrund von Versionskonflikten, ohne jemals einen Alarm auszulösen.

Die übliche Unternehmensreaktion auf eine derart schwere Katastrophe – echter Datenverlust, verschärft durch ein totales Backup-Versagen, von dem das Unternehmen nicht einmal gewusst hatte – besteht darin, still zu werden, die Geschichte sorgfältig zu steuern und eine kontrollierte Erklärung abzugeben, sobald die Fakten und die rechtliche Exposition vollständig geklärt sind. Das GitLab-Team traf mitten in der Krise die entgegengesetzte Entscheidung: Statt sich hinter verschlossenen Türen zurückzuziehen, während es herausfand, was passiert war, hielt es den Vorfall in Echtzeit öffentlich sichtbar, während er noch ungelöst und der Ausgang ungewiss war.

GitLab übertrug seine Wiederherstellung live, einschließlich der Entdeckung, dass alle Backups fehlgeschlagen waren, und machte radikale Transparenz zu einem kostspieligen Signal, das Vertrauen statt Beschönigung aufbaute.

Radikale Transparenz war ein kostspieliges Signal, das bewies, dass der Bericht echt war.

Die Öffentlichkeit sah den unzensierten Kampf, was die Darstellung glaubwürdig machte.

Die detaillierte Postmortem-Analyse und öffentliche Korrekturen zeigten die Bereitschaft zur Verbesserung.

Wenn ein schwerwiegender Fehler passiert, kann radikale Transparenz in Echtzeit mehr Vertrauen aufbauen als eine kontrollierte, verzögerte Erklärung.

Der Livestream der Wiederherstellung erreichte zu Spitzenzeiten über 5.000 gleichzeitige Zuschauer, und statt GitLabs Ruf zu schaden, weckte der transparente Umgang breite öffentliche Sympathie und Respekt in der gesamten Tech-Branche – Kommentare aus der damaligen Zeit und seither beschreiben GitLabs Ruf durchweg als durch einen Vorfall praktisch unbeschädigt, der bei undurchsichtigem Umgang wahrscheinlich eine ernste Vertrauenskrise ausgelöst hätte. Im Anschluss an die Postmortem-Analyse folgte GitLab mit Dutzenden öffentlicher Engineering-Issues, die konkrete Korrekturen nachverfolgten und Kunden direkte Einsicht in genau die Änderungen gaben, die vorgenommen wurden.