구글은 화재 현장에서 빌려온 등급과 지휘관으로 장애에 대응했다

2000년대 초 구글의 데이터센터 규모는 서버가 늘어날수록 운영자를 더 고용하는 전통적 운영 모델을 이미 넘어서 있었다. 2003년 프로덕션 운영을 맡게 된 벤 트레이너 슬로스는 그 비율로 인력을 채용하는 것이 비용 면에서도, 인재 확보 면에서도 불가능하다고 판단했고, 장애가 임기응변식으로 처리되고 있다는 점도 문제로 보았다. 즉, 가장 먼저 호출된 사람이 즉석에서 대응을 꾸렸고, 사소한 문제와 회사 전체를 흔드는 장애를 구분할 일관된 방법이 없었다.

소프트웨어 운영에는 소방서의 계급 구조에 해당하는 것이 없었다. 경보는 울리거나 울리지 않거나 둘 중 하나였고, 모든 사건은 규모와 무관하게 동일한 주의를 두고 경쟁했다. 전통적인 시스템 관리자가 아니라 소프트웨어 엔지니어로 구성된 트레이너의 팀은 이를 인력 문제가 아닌 엔지니어링 문제로 다루었다.

사이트 신뢰성 엔지니어링(SRE)은 심각도 등급, 호출 단계, 그리고 응급 서비스에서 의식적으로 모방한 사건 지휘 역할을 공식화했다.

소방 서비스의 사건 지휘 체계(Incident Command System)를 차용했다. 심각도 등급에 더해 지휘관과 각 리드가 있어, 대응이 영향 규모에 따라 확장된다.

심각도 등급이 없으면 모든 경보가 동일한 대응을 촉발해, 사소한 문제에 주의를 낭비하고 심각한 문제에는 자원이 부족해진다.

사전에 배정된 역할(사건 지휘관 등)은 혼란을 조직적인 대응으로 바꾸어, 노력이 실제 영향에 비례하게 한다.

응급 서비스에서 검증된 구조를 빌려오면 조정 체계를 처음부터 발명하지 않아도 된다.

모든 문제가 동등한 주의를 두고 경쟁할 때는, 압박 속의 조정 문제를 이미 해결한 분야에서 단계별 심각도 척도와 사전 배정된 지휘 역할을 빌려오라.

SEV 등급과 사건 지휘는 이제 소프트웨어 업계 전반의 기본 관행이다. 구글의 사건 대응 프레임워크(IMAG)는 소방 서비스의 사건 지휘 체계를 명시적으로 기반으로 하며, 선언된 모든 사건에 대해 지정된 사건 지휘관, 커뮤니케이션 리드, 운영 리드를 둔다.