Googles Rechenzentrumsbestand war Anfang der 2000er Jahre über das traditionelle Betriebsmodell hinausgewachsen, bei dem mehr Server die Einstellung weiterer Operatoren bedeutete; Ben Treynor Sloss, der 2003 zur Leitung des Produktionsbetriebs geholt wurde, befand, dass eine Einstellung in diesem Verhältnis weder bezahlbar noch praktikabel zu finden sei, und dass Ausfälle ad hoc behandelt wurden – wer zuerst alarmiert wurde, improvisierte eine Reaktion, ohne ein konsistentes Mittel, um eine kleine Störung von einem unternehmensweiten Ausfall zu unterscheiden.
Der Softwarebetrieb hatte kein Äquivalent zur Rangstruktur einer Feuerwehr: Ein Alarm wurde entweder ausgelöst oder nicht, und jeder Vorfall konkurrierte unabhängig von seinem Ausmaß um dieselbe undifferenzierte Aufmerksamkeit. Treynors Team, besetzt mit Softwareingenieuren statt traditionellen Systemadministratoren, behandelte dies als ein technisches Problem und nicht als ein Personalproblem.
Site Reliability Engineering formalisierte Schweregradstufen, Alarmierungsebenen und eine Incident-Command-Rolle, die bewusst von den Rettungsdiensten übernommen wurde.
Übernahme des Incident Command System der Feuerwehr: Schweregradstufen plus ein Kommandant und Einsatzleiter, sodass die Reaktion mit dem Ausmaß skaliert.
Ohne Schweregradstufen löst jeder Alarm dieselbe Reaktion aus, was Aufmerksamkeit bei kleineren Problemen verschwendet und schwerwiegende Vorfälle unterversorgt.
Vorab zugewiesene Rollen (Incident Commander usw.) verwandeln Chaos in eine organisierte Reaktion, sodass sich der Aufwand nach der tatsächlichen Auswirkung richtet.
Die Übernahme einer bewährten Struktur aus den Rettungsdiensten vermeidet es, ein Koordinationssystem von Grund auf neu zu erfinden.
Wenn jedes Problem um dieselbe Aufmerksamkeit konkurriert, übernimmt man eine abgestufte Schweregradskala und vorab zugewiesene Kommandorollen aus einem Bereich, der die Koordination unter Druck bereits gelöst hat.
SEV-Stufen und Incident Command sind heute Standardpraxis in der gesamten Softwarebranche; Googles Incident-Framework (IMAG) baut ausdrücklich auf dem Incident Command System der Feuerwehr auf, mit einem designierten Incident Commander, Communications Lead und Operations Lead für jeden erklärten Vorfall.
DEN BELEGEN FOLGEN
Die Quellen
- Incident Response documentation, SRE Workbook Google (official SRE documentation) · sre.google
- The Origins of SRE from the Director of SRE Education at Google DevOps Institute · devopsinstitute.com