解決方案
2017 年 1 月 31 日,一名疲憊的 GitLab 工程師為了排除複寫問題,誤刪了公司的主要生產資料庫目錄,而非次要複本,抹除了約 300GB 的即時資料,包括專案、留言、議題與使用者帳號。當團隊急忙恢復服務時,他們發現了第二個、嚴重得多的問題:GitLab 全部五種官方備份機制——排程傾印、磁碟快照、複寫——都已無聲無息地失效數週,部分原因是版本不相符,卻從未觸發任何警示。
面對如此嚴重的災難——真實的資料遺失,再加上公司事先毫不知情的全面備份失效——標準的企業反應是保持沉默、謹慎管理敘事,並在完全釐清事實與法律風險後發布一份受控的聲明。GitLab 團隊在危機之中做出了相反的決定:他們沒有在釐清事發經過時退居門後,而是在事件仍未解決、結果未定之時,就讓事件即時公開可見。
達成了什麼
GitLab 直播了其復原過程,包括發現所有備份皆失效,使徹底透明成為一種代價高昂的訊號,建立了信任而非公關操作。
為何奏效
徹底透明是一種代價高昂的訊號,證明這份說明是真誠的。
大眾看到了未經審查的掙扎,使敘事可信。
詳盡的事後檢討與公開修正展現了改進的承諾。
可借鏡之處
當發生嚴重故障時,徹底的即時透明能比受控、延遲的聲明建立更多信任。
後續
復原直播在高峰時吸引了超過 5,000 名同時觀看者,而透明的處理方式並未損害 GitLab 的聲譽,反而在科技業界贏得廣泛的公開同情與尊重——當時及後續的評論一致形容,GitLab 的聲譽實際上並未因這起事件受損,而若以不透明的方式處理,這起事件很可能會是一場嚴重的信任危機。GitLab 在事後檢討之後,發布了數十個公開的工程議題,追蹤具體的修正措施,讓客戶能直接看到究竟有哪些改變。
追溯依據
參考來源
- Postmortem of database outage of January 31 GitLab · about.gitlab.com
- The benefits of transparency: Interview with Sytse "Sid" Sijbrandij, CEO of GitLab Increment · increment.com