過年期間，一條Gitlab誤刪資料的新聞佔領了各大科技網站的頭條。一切令人驚歎感慨，一切又讓人似曾相似。回首2016年，網路重大異常事件其實並不罕見。

黑客偽造使用者證書攻擊俄羅斯央行，3100萬美元不翼而飛。

2017年1月，“Gitlab誤刪庫事件”再掀血案，再次挑動起業界對資訊保安和重大風險的敏感神經。

【事件回顧】

【如何反思異常】

不管是傳統的工業領域，還是IT行業，異常的預防和處理都是一項重要課題。當異常和故障發生時，如何及時追究問題發生的原因，妥善解決和處理異常，並總結原因預防故障再次發生，體現出一家公司服務意識、技術能力和市場競爭力。

在Gitlab故障回顧的blog中提到要寫“Ask 5 Whys”，其實在分析和反思故障的過程中，很多IT企業會用“Ask 5 Whys”，例如亞馬遜。

經過連續五次不停地問“為什麼”，才找到問題的真正原因和解決的方法，在潤滑泵上加裝濾網。如果員工沒有以這種追根究底的精神來發掘問題，他們很可能只是換根保險絲草草了事，真正的問題還是沒有解決。5why法的關鍵所在：鼓勵解決問題的人要努力避開主觀或自負的假設和邏輯陷阱，從結果著手，沿著因果關係鏈條，順藤摸瓜，直至找出原有問題的根本原因。

【優化異常處理流程】

當異常發生後，需要一套完備的流程來處理異常，保證快速反饋問題，及時跟進技術人員，確定行動計劃，拿出解決方案，落實回訪與總結。

在Gitlab事件中技術人員對異常的處理有些雜亂無章，當受到DDoS攻擊後，出現數據庫使用飆高這一異常，在解決攻擊後引發了另一項異常（資料無法同步），在處理資料同步異常時又出現誤刪資料庫，最後在資料恢復過程中發現集中備份機制都失效，可以說是在處理一個異常的過程中反而引發了更多的異常，最終備份機制這一解決方案也失效。雖然這不完全是流程上的問題，但可以看到處理流程的混亂引發了更多的問題。一套完備的流程會更有利於問題的解決。

異常的型別和性質並非千篇一律，需要根據異常發生的情況不斷對處理流程進行優化，以更好地應對不同型別的問題。

【自我審視和樹立風險意識】

在Gitlab事件中，有兩個致命的問題引發最大的關注，一是運維人員刪除資料庫的命令錯誤的敲在了生產環境上，另一個是恢復資料時5種備份機制全部失效。大家奇怪的是，運維人員在處理問題時，沒有任何限制就可以在生產環境上執行刪除目錄這樣高危的操作，然後5種備份機制全部失效在平時為何沒有發現。這兩個問題暴露出Gitlab的很多問題，而有些問題是可以防患於未然的，我們在平時的工作中需要經常自我審視，審視產品質量，審視流程和規則，審視自身能力，審視風險隱患。

有些問題可以靠技術預防，有些問題可以靠流程和規則預防，例如誤刪資料庫的運維人員，可以用自動化運維、智慧運維來代替“人肉運維”，避免低階錯誤；可以通過規範的流程和規則來避免誤刪資料這樣的失誤；通過平時的測試和演練來檢查備份方案是否有效。很多問題是可以在平時預防的。

【敢於直面故障和異常】