f5 2017.09.03故障
阿新 • • 發佈:2018-11-06
1.下午14點50左右有同事反應epm等系統登入有問題。自測登入也是有同樣的報錯。
2.測試發現內部IP直接訪問正常,但是訪問f5的vip的方式訪問不了。此時oa、郵件等系統也開始有同事發現故障。
3.登入f5後發現原主機狀態變為disconnect,當前工作的是原備機。但是備機上的vs不全。導致郵件掃碼登入、資金等系統故障。跟系統同事確認後緊急將一些重要站點在防火牆上的對映由vip改為後端伺服器中的一臺。
後由f5工程師協助將備份的原主機配置匯入,但是匯入後發現有些功能,如新增證書等不能使用。f5工程師確認是觸發了一個版本bug,需升級解決。但是裝置目前不在保,無法進行升級。
於此同時,讓IDC值班人員幫忙拔插電源、更換電源線等操作後,確認是原主機的電源模組損壞導致。下午6點開始,邊新增pool,邊協調供應商借用電源模組。晚上10點左右,確認模組借不來。
計劃去機房,將備機的電源模組替換至原主機。晚上11點左右到機房,先將備機的上聯線拔掉(此時原備機跑著的是原主機的配置,原主機啟動後會導致衝突)。
電源模組替換完畢後,發現仍不能開機。後更換電源線,裝置成功啟動。微信通知到各系統及產品負責人,測試後告知所有系統正式恢復。將原主機的電源模組插入備機,發現裝置也能啟動。
在f5工程師的協助下,凌晨2點半左右,將備機恢復出廠並配置好雙機。至此,裝置完全恢復至故障前。
4.需要吸取的教訓:
1)主機、備機的配置要及時同步;
2)主機、備機的配置要分別備份,並定期下載到本地留存;
3)主、備工作模式的,要定期演練切換主備;
4)儘量主機、備機保持雙電;