解法
2017年1月31日,一名疲惫的 GitLab 工程师试图解决复制问题,却误删了主生产数据库目录,而不是次要副本,导致约300GB实时数据(包括项目、评论、问题和用户账户)被清除。团队急忙恢复服务时,发现了第二个更糟的问题:GitLab 的五个官方备份机制——定时转储、磁盘快照、复制——都已静默失败数周,有些因版本不匹配,且从未触发警报。
对于如此严重的灾难——实际数据丢失,加上公司未曾知晓的备份全面失效——标准企业应对是保持沉默,谨慎管理信息,待事实和法律风险明朗后再发布声明。GitLab 团队在危机中做出了相反决定:他们没有关起门来调查,而是让事件在未解决、结果不确定的情况下实时公开可见。
取得了什么结果
GitLab 直播了恢复过程,包括发现所有备份均失败,这种彻底透明成为昂贵的信号,建立了信任而非公关。
为什么有效
彻底透明是昂贵的信号,证明了事件的真实性。
公众看到了未经剪辑的挣扎,使叙述可信。
详细的事后剖析和公开修复显示改进的承诺。
可以借鉴什么
当严重故障发生时,彻底的实时透明比受控的延迟声明更能建立信任。
后续
恢复直播最高吸引了超过5000名同时在线观众。没有损害 GitLab 的声誉,这种透明的处理赢得了科技界的广泛同情和尊重——当时及之后的评论均认为 GitLab 的声誉未受此次事件实质影响,如果处理不透明,这可能成为一场严重的信任危机。GitLab 在事后分析中公开了数十个工程问题,跟踪具体修复,让客户直接看到具体改动。
从这里,追溯依据
参考来源
- Postmortem of database outage of January 31 GitLab · about.gitlab.com
- The benefits of transparency: Interview with Sytse "Sid" Sijbrandij, CEO of GitLab Increment · increment.com