誤刪除線上無備份mongodb 1800萬數據表的心路歷程
阿新 • • 發佈:2018-06-15
生成 數據 google 完成 點擊 檢索 刪除 代碼 表數
2018-06-14 15:32 ,我誤刪除掉線上mongodb集群的表。
ok,mongobooster是有stop按鈕。點擊停止救命一下。但是,根本停不掉,每刷新一下都能看到表單在1M遞減的速度減少,每刷新一次 頭暈就加重腦海飛速想解決方案
歷程:
1.找運維,拿備份。 找了許久竟然沒近期備份,最近的是五月初,我的天,我快倒在地上了。
2.竟然mongodb的collection是文件存儲,那麽靠運維磁盤中找到原來文件,400多G磁盤需要半小時檢索。這半小時 ,看著異常不斷增多,崩潰,每一秒都難受
3.這時間 我想運維解決,不敢和上層說。但最後還是鼓起勇氣,當面說了,一起找解決方案,幸運的是,該表的數據可以從其他表拼湊出來,那麽寫小工具檢索其他表拿數據插表
4.兩頭一起做,其中文件沒找回來,各種google解決方案,然而並沒方案恢復mongodb表數據,難受,趕緊寫工具。
5.寫好工具,簡單估算時間,由於檢索的表數據量很大。竟然需要9小時,期間萬一出點幺蛾子,我的天,我不行了。
6.冷靜,一起優化代碼 ,最後完成新的工具,估算時間差不多1小時半小時左右 吐了半口氣。
7.盯著程序,還好穩定執行 生成新的表。解決mq等線上的一些錯誤弄完 2018-06-14 19:00左右 結束。
這幾個小時的壓力,哇,說不出來難受,絕望是最好的形容。
阿門,佛祖保佑。不要再來一次了。端午去寺廟吧。
誤刪除線上無備份mongodb 1800萬數據表的心路歷程