1. 程式人生 > >資料中心網路流量採集難題

資料中心網路流量採集難題

隨著資料中心運維精細化要求不斷提高,網路流量採集分析已經成為資料中心基礎設施不可缺少的分析手段,通過網路流量深度分析,我們能夠更直觀地加快故障定位、分析應用資料、協助優化定位,加快故障定位。網路流量採集也是一門學問,做得好會在關鍵時刻起作用,做得不好就會形成虛設,反而還要佔用大量的網路頻寬資源,這樣的流量採集不如不做。流量採集可不是簡單地將幾個網路裝置埠的流量映象一份發給分析伺服器就了事,要建立一個覆蓋全面、合理有效的流量採集網路,這樣的流量採集才能有助於優化網路和業務效能指標,減少故障發生概率。當然,網路流量採集也面臨著不少新問題,本文將娓娓道來。

流量增長太快

根據預測,到2019年資料中心的流量將為2014年的三倍,平均每年保持著30%的增長率,不要只看增長率,其實2014年的流量基數就很大,2014年就有2.1ZB。流量的增長會給監管帶來很多問題。比如:現有的監控伺服器處理能力不夠,映象流量過大導致裝置埠或內部通道擁塞,流量種類太多導致採集型別不完整等等。所以,流量增加後會帶來一系列問題,監管的手段也要隨之調整,否則就無法真實採集到流量實時狀態,甚至還會對現有業務造成影響。如果採用的是取樣的方式,就有一定的取樣比,隨著流量的增長,採集的流量會多一些,也可能會漏掉一些特徵流量,還有可能採集的流量太大,將裝置CPU打爆,這時就要降低取樣比,但這時降低取樣比採集的樣本流量會更少,準確度下降。總之,當流量在不斷增加時,不僅要對裝置進行擴容,對採集流量的方法也要調整,否則流量採集起不到監管作用。

採集需求多樣化

資料中心網路承載的業務種類越來越多,流量特徵也越來越多,有時就需要針對不同流量部署不同的採集技術。像映象、Netflow、Netsteam、Erspan等都可以作為流量採集的技術。映象種類就很繁多,可以基於埠映象、基於某些特徵流映象,基於VLAN映象,映象流量可以發向多臺監控伺服器,可以跨多臺裝置映象,或者通過VLAN廣播,以此來滿足各種流量採集的要求。就算有這麼多種類的流量採集方式,時常也得不到滿足。像Netsteam受限於技術實現,有的只能識別五元素IP特徵的流量,對於IP頭其它部位變化特徵則無法採集和分類,有的裝置採用CPU軟體實現,處理能力過低,有的裝置採集FPGA硬體實現,識別流量的種類就沒有那麼豐富。再有,在一個高冗餘的網路架構中,二層多路徑等技術也對流量採集提出了挑戰,不同路徑均有流量分佈,就需要在所有鏈路上都部署流量採集點,這樣相同的流量在不同的鏈路上均能採集到,實際得到的流量要比取樣比還高。

資料安全要求高

人們對資料中心安全越來越重視,尤其擔心自己的隱私資料遭到洩露或者被人所利用,若在資料中心部署過多的流量監控,易引起人們的反感,這就像是在換衣間安裝了攝像頭一樣,覺得自己的隱私受人監控,所以資料中心裡的資料流量並不允許隨意去採集,作為資料分析使用,所以要流量採集取之有道,流量監管資訊公開,讓人們放心使用資料中心的應用。資料中心網路承載著客戶業務的重要資料,要對資料進行安全檢查,避免在資料採集的過程中出現資訊洩露,安全問題絕對是在進行採集網路規劃建設時首要重點考慮的問題。對於部分重要的生產網路流量資料,必須要進行脫敏處理,隱藏客戶敏感資訊,避免資訊洩露。在資料分析後,及時將原始資料進行銷燬,避免流量資料被洩露或為他人不法所用。

流量分析工具差異大

通過各種流量採集技術從網路中獲取的流量是幾乎沒有加工過的資料,這些資料被採集到監控裝置上時,需要通過特定的分析工具解析和統計分析。比如:Netflow採集,只不過將採集到的流量做了報文封裝,形成統一格式的報文發給監控裝置,監控裝置要能識別Netflow報文,解析報文將流量原始報文還原出來,然後去原始流量進行分析和統計。採用不同的分析軟體工具,獲得的結果會有很大出入,有些工具只是統計,將流量進行歸類,而有些工具則可以利用雲端計算、大資料等技術進行資料分析和預測,以便對業務執行狀況進行分析和預判。不同的分析工具與不同的流量採集方式適配,相互之間並不能相容,這也導致市面上出現了很多流量分析工具,質量參差不齊,在選擇時一定要慎重。選擇有效的流量採集方式,不僅可以節省開支,降低流量監管成本,還能最大限度地利用採集的流量資料進行分析。

在資料中心網路不斷髮展壯大的過程中,流量採集面臨著不少的難題,但這方面的工作還要繼續去做,要懂得去適應,去解決問題,方法總比困難多。聯絡電話:136 315 957 64 現在的資料中心都在做精細化的運維,流量監管是最為重要的一部分,聯絡QQ:288 50 605 91 早期那種部署個網管軟體獲取一些監控節點資訊已經無法滿足了,要通過流量採集並進行後期的流量分析,將流量採集與各類分析應用平臺聯動起來,從不同角度挖掘資料資訊,對資料進行深入分析,支援運維業務發展。對資料中心網路的執行狀態進行預判,提升資料中心網路的運營效率。流量採集是流量分析體系的基礎,一個覆蓋全面、合理有效的流量採集網路,有助於提高網路流量的採集、過濾和分析效率,滿足不同角度的流量監管要求,優化網路和業務效能指標,提高客戶體驗。