1. 程式人生 > >記2018年11月15日投產事故之程式碼合併

記2018年11月15日投產事故之程式碼合併

1、時間:2018年11月15日晚8:43
2、系統:JF系統
3、參與人:2人
4、事故:43分-46分,69筆請求由於程式異常(表不存在)觸發程式保底。
5、原因:
1)開發分支未從master分支拉取,應該是從dev或test分支拉取的,包含了其他未上線功能
2)在測試環境中未暴露問題,原因是其他功能已在測試,相關表結構在開發環境,測試環境,rc環境都具備,未發現此問題
3)開發分支程式碼合併至master分支時,未確認提交檔案記錄及檔案總個數,未發生衝突檔案而忽視總提交檔案個數遠遠大於開發設計的檔案數,沒及時發現問題。
6、處理:在43分開始有請求進入之後,46分檢視日誌發現異常,立馬結束程序,檢視日誌,整理異常資料,定位問題
7、總結:在開發,測試,上線各個環節,不能疏忽大意,魔鬼在細節