Google a attribué des rangs et des commandants aux pannes, empruntés à la ligne de feu

L'empreinte des centres de données de Google au début des années 2000 avait dépassé le modèle d'exploitation traditionnel, où plus de serveurs signifiait embaucher plus d'opérateurs ; Ben Treynor Sloss, amené en 2003 pour diriger la production, jugea qu'embaucher à ce ratio n'était ni abordable ni trouvable, et que les pannes étaient traitées de manière ad hoc — quiconque était appelé en premier improvisait une réponse, sans moyen cohérent de distinguer un incident mineur d'une défaillance à l'échelle de l'entreprise.

L'exploitation logicielle n'avait pas d'équivalent de la structure hiérarchique d'un service de pompiers : une alerte se déclenchait ou non, et chaque incident se disputait la même attention indifférenciée, quelle que soit son ampleur. L'équipe de Treynor, composée d'ingénieurs logiciels plutôt que d'administrateurs système traditionnels, traita cela comme un problème d'ingénierie plutôt que d'effectifs.

Le Site Reliability Engineering a formalisé des niveaux de gravité, des paliers d'astreinte et un rôle de commandement des incidents copié consciemment sur les services d'urgence.

A emprunté le système de commandement des incidents des services de pompiers : des niveaux de gravité plus un commandant et des responsables, afin que la réponse soit proportionnée à l'impact.

Sans niveaux de gravité, chaque alerte déclenche la même réponse, gaspillant l'attention sur des problèmes mineurs et sous-dotant les plus graves.

Des rôles préattribués (commandant d'incident, etc.) transforment le chaos en une réponse organisée, afin que l'effort soit proportionné à l'impact réel.

Emprunter une structure éprouvée aux services d'urgence évite d'inventer de zéro un système de coordination.

Lorsque chaque problème se dispute la même attention, empruntez une échelle de gravité graduée et des rôles de commandement préattribués à un domaine qui a déjà résolu la coordination sous pression.

Les niveaux SEV et le commandement des incidents sont désormais une pratique par défaut dans toute l'industrie logicielle ; le cadre d'incident de Google (IMAG) est explicitement bâti sur le système de commandement des incidents des services de pompiers, avec un commandant d'incident, un responsable de la communication et un responsable des opérations désignés pour chaque incident déclaré.