GitLab、自社のデータ損失からの復旧をライブ配信

2017年1月31日、疲れていたGitLabのエンジニアがレプリケーションの問題を解消しようとして、セカンダリレプリカではなく本番環境のプライマリデータベースディレクトリを誤って削除し、プロジェクト、コメント、イシュー、ユーザーアカウントを含む約300GBの稼働中データを消去してしまった。チームがサービス復旧に奔走する中で、さらに深刻な第二の問題が発覚した。GitLabの公式バックアップ機構5つすべて——定期的なダンプ、ディスクスナップショット、レプリケーション——が、数週間にわたり、一部はバージョンの不一致により、アラートを一度も発することなく静かに失敗し続けていたのだ。

これほど深刻な災害——実際のデータ損失に、会社すら把握していなかったバックアップの完全な失敗が重なった事態——に対する標準的な企業の対応は、沈黙を守り、情報を慎重に管理し、事実と法的リスクを完全に把握した上で統制のとれた声明を出すことである。危機の最中のGitLabのチームは、正反対の選択をした。何が起きたかを解明する間、密室に退くのではなく、事態が未解決で結果も不確かなうちから、インシデントをリアルタイムで公開し続けたのだ。

GitLabはバックアップがすべて失敗したことの発覚を含め、復旧作業をライブ配信し、徹底した透明性をコストのかかるシグナルとすることで、ごまかしではなく信頼を築いた。

徹底した透明性はコストのかかるシグナルであり、説明が本物であることを証明した。

公衆は検閲されていない苦闘を目にし、その語りに信憑性が生まれた。

詳細なポストモーテムと公開された修正は、改善へのコミットメントを示した。

重大な障害が起きたとき、リアルタイムの徹底した透明性は、統制された遅延した声明よりも大きな信頼を築くことができる。

復旧のライブ配信はピーク時に5,000人を超える同時視聴者を集め、GitLabの評判を損なうどころか、その透明な対応はテック業界全体で広く公衆の共感と敬意を集めた——当時もその後も、コメントは一貫して、GitLabの評判はこのインシデントによって事実上損なわれなかったと評しており、不透明に処理されていれば深刻な信頼危機となっていた可能性が高い。GitLabはポストモーテムに続いて、具体的な修正を追跡する数十の公開エンジニアリングイシューを公開し、顧客に何が変わっているのかを正確に直接可視化した。