Google dio a las caídas rangos y comandantes, tomados de la línea de bomberos

La huella de centros de datos de Google a principios de la década de 2000 había superado el modelo operativo tradicional, en el que más servidores significaban contratar más operadores; Ben Treynor Sloss, incorporado en 2003 para dirigir producción, juzgó que contratar a ese ritmo no era ni asequible ni viable encontrar personal, y que las caídas se gestionaban de forma improvisada: quien recibía primero el aviso improvisaba una respuesta, sin una forma consistente de distinguir un fallo menor de un fallo a escala de toda la empresa.

Las operaciones de software no tenían equivalente a la estructura de rangos de un departamento de bomberos: una alerta se disparaba o no, y cada incidente competía por la misma atención indiferenciada independientemente de su escala. El equipo de Treynor, integrado por ingenieros de software en lugar de administradores de sistemas tradicionales, trató esto como un problema de ingeniería y no de dotación de personal.

Site Reliability Engineering formalizó niveles de gravedad, niveles de aviso y un rol de mando de incidentes copiado conscientemente de los servicios de emergencia.

Tomó prestado el Sistema de Mando de Incidentes del servicio de bomberos: niveles de gravedad más un comandante y responsables, de modo que la respuesta escala con el impacto.

Sin niveles de gravedad, cada alerta desencadena la misma respuesta, desperdiciando atención en problemas menores y asignando recursos insuficientes a los graves.

Los roles preasignados (Comandante de Incidente, etc.) convierten el caos en una respuesta organizada, de modo que el esfuerzo escala con el impacto real.

Tomar prestada una estructura probada de los servicios de emergencia evita inventar desde cero un sistema de coordinación.

Cuando cada problema compite por la misma atención, toma prestada una escala de gravedad graduada y roles de mando preasignados de un ámbito que ya resolvió la coordinación bajo presión.

Los niveles SEV y el mando de incidentes son ahora práctica predeterminada en toda la industria del software; el marco de incidentes de Google (IMAG) se basa explícitamente en el Sistema de Mando de Incidentes del servicio de bomberos, con un Comandante de Incidente, un Responsable de Comunicaciones y un Responsable de Operaciones designados para cada incidente declarado.