1. 程式人生 > >網絡工程師成長日記315-漢中某銀行技術支持

網絡工程師成長日記315-漢中某銀行技術支持

spl display 設備 網絡拓撲 模塊化 點點滴滴 機房 3層 不能

網絡工程師成長日記315-漢中某銀行技術支持

這是網絡工程師成長日記的第315篇連載文章,記錄網絡工程師行業的點點滴滴,結交IT行業有緣之人
技術分享圖片

9/10隨同老大到漢中市人民銀行總行,對網絡故障進行排查
主要是核心交換機上的VRRP熱備份冗余出現不穩定狀態,核心交換機光模塊上的23/24口不停的出現UP/Down
時間緊迫,第2天早上,我們很早來到銀行的機房,由於銀行有重要的業務流量,只能對3層交換做一些簡單查看,要對交換機問題進行仔細的排查,還需要等到晚上工作人員都下班後,這樣我們先通過網管進行了解,問題的關鍵所在。

我們來到機房後,老大首先是對,master、backup交換機進行display cur 等等一些命令

由於是華3的設備,個人對命令不是很熟悉,在一旁看著老大熟練的敲擊著鍵盤把敏感的信息存儲起來
在日誌裏記錄了很多,出錯的提示,這些都是很有用的排錯信息,經驗很重要,接著就是查看網絡的環境
由於沒有拓撲的情況,我們和老大通過網絡環境,粗略的畫出了網絡拓撲,我們就在機房裏觀察現象
等到中午一下班,我們就將在光模塊上的接口接上同軸電纜,繼續觀察現象,接著一切貌似都正常著
等了1個多小時,接口穩定的工作著,一點都沒有問題的現象,等著等著,不覺的肚子有些餓,銀行的科長說先去吃飯......
吃過飯午飯,我們就只有一個小時的時間,為了不能耽誤業務,我們回到機房,觀察現象,交換機沒有任何報錯信息,老大說等等看,等上班有敏感流量了,問題來了,出現了VRRP不停的在Master和backup上切換,而且只要是生產部門和業務部門同時有流量,業務部就完全處於停滯狀態,拔下23/24口的光纜業務部可以正常運作。
分析為什麽會出現不停切換的原因,可能是VRRP上的配置問題或是流量大的緣故使得端口進行擁塞、ARP病毒的原因使得VRRP模擬出現了另一臺路由器,Master和backup出現不穩定的情況。
技術分享圖片

為保證銀行的正常的業務運轉,不得不把23/24口的光纜取下來
我們的工作進度在一次延後,只能等到6:00鐘,做一次整體的排查
通過以上的現象,老大和科長進行協商,需要生產部做觸發流量,進行排查
通過5臺直接與核心交換相連接的電腦,進行流量模擬,5臺電腦不停的ping網關,結果出現時通時不同的現象
老大這個時候已經意識到問題的關鍵所在,這個時候,銀行的上級領導耐不住寂寞、終止了我們的調試........
通過這次網絡排查機會,隨老大來到漢中,雖然工作的時候一波三折,在這樣復雜的網絡環境中進行排錯

需要對問題的模塊化、最小化,縮小問題的範圍,一擊必殺,解決問題的時候要有邏輯觀念和穩定的情緒,排查問題的執著。
接觸到這樣的項目,我覺得是一種成長,在做老大的跟班時候,發現在排查網絡錯誤的時候僅僅是學過NP、NA是完全不夠的
這些只是理論和命令所必要的基礎,在排錯當中更重要的對網絡環境的整體分析
這是一種經驗,更是一種能力,需要機敏的頭腦,迅速的反應,把問題細節化,這樣在工作中才能事半功倍。
使我羨慕的老大就擁有著這樣的品質。
技術分享圖片

經過這次技術外包,在老大身上不僅體現出要在技術上過硬、全局的分析能力
更重要的是經驗,和與人溝通能力,值得我學習技術之外的知識。
要處理好人際關系,有溝通有協作這樣問題才能快速的解決。

網絡工程師成長日記315-漢中某銀行技術支持