1. 程式人生 > >網絡分流器|高速骨幹網流量采集與分流實現

網絡分流器|高速骨幹網流量采集與分流實現

P20 deep 最大 圖1 綁定 取證 fff 報文 broadcom

網絡分流器|高速骨幹網流量采集與分流實現方案

1 流量采集|網絡分流器

所謂流量采集,就是將網絡流量通過物理層、數據鏈路層的信號解析和解幀,實現IP原始報文的獲取。骨幹網流量采集系統是一種對骨幹網進行流量獲取並分析的系統,主要應用於政府網絡管理、運行商廣告推送、運行商計費取證服務、運行商信令監控服務、園區網審計、公安網監、大數據分析等領域。

2 高速網絡流量采集系統|網絡分流器

隨著以太網技術和光纖通信技術的應用,骨幹網帶寬的增長及規模的擴大,大規模的網絡流量采集面臨著數據規模龐大和流量日益復雜的挑戰,傳統的基於軟件的流量采集技術的性能已然無法滿足要求。現有的高速骨幹網流量采集方案主要分為三類:基於多核處理器的流量采集方案,基於交換芯片的流量采集方案,和基於FPGA的網絡流量采集方案。

每種方案各有特色,下文將一一進行說明。

a) 基於多核處理器的戎騰高速網絡流量采集系統

多核處理器能夠提供強大的並行計算能力,應用於流量采集系統的主要型號有Broadcom的XLP、XLR、XLS,Cavium的CN6880、CN5880,以及Tilera的TILE-GX36等。采用此方案的系統可編程實現流量采集,還可對報文進行修改,具有非常高的靈活性。但系統CPU的處理能力有限,無法真正實現線速處理,整體性能不會很高,但是由於有處理器的參與,比較復雜的處理,如流表的管理、應用層協議識別、Radius上線與報文綁定等功能比較容易實現。
技術分享圖片戎騰網絡分流器
圖1 一種基於Cavium CN6880的流量采集器CDP2000

b) 基於交換芯片的高速網絡流量采集系統

交換芯片的價格較便宜,且有成熟的套片解決方案可供參考。但其過濾功能非常弱,只支持非常簡單的精確多元組過濾,無法做深度報文檢測(DPI: Deep Package Inspection),且無法支持POS和WAN等以太網接口,這也使得基於交換芯片的流量采集方案在實際使用的範圍受到限制。

c) 基於FPGA的高速網絡流量采集系統

基於FPGA的解決方案目前較少,主要原因是FPGA芯片價格較貴,且需自行設計所有高速電路和過濾算法,技術門檻較高,需要深厚的研發能力。但其兼有多核系統的高靈活性和交換系統的高性能,優勢也是非常明顯的技術分享圖片
圖2 基於FPGA的100G戎騰網絡流量采集系統HFC602

表1 三種流量采集方案的比較

            基於多核處理器   基於交換芯片    基於FPGA   
芯片價格        一般        較低         較高

硬件設計難易度     一般        較容易        較難

軟件開發難易度     一般        較容易        較難

常見網絡接口的兼容性  中         低          高

流量采集的靈活性    高         低          一般

是否實現線速處理    否         否          是

基於多核處理器+交換芯片的流量采集方案是目前應用最為普遍的方案,雖然系統整體價格略貴,但軟硬件發開難度不大,入門門檻較低。

但隨著FPGA的發展,其內部資源日益豐富,特別是內部嵌入了大量IP核,在處理速率、邏輯容量等方面不斷提升,基於FPGA的方案受到了越來越多的關註,國內外許多研究機構及公司先後推出了基於FPGA的網絡流量采集系統。

圖2所示是常見基於FPGA的流量采集系統的結構圖,流量采集及預處理平臺獲取網絡端口送來的網絡數據包,並對數據包進行流量統計和分析,最終根據流量分析的結果將網絡數據包進行分流重新轉發回網絡中。系統采用硬件和軟件協同實現設計思路,對於數據包的協議解析、數據預處理都由硬件電路實現;後端服務器進行流量的具體分析處理。通過預處理平臺對流量進行分類歸並和低負載數據傳輸,有效減少了後端服務器的工作量;服務器對預處理後的數據進行處理,可以有效降低流量處理過程的負載開銷!技術分享圖片
1 戎騰網絡分流器小結
國防科大推出的100G采集設備(采用ATCA-NTW6401機箱和HFC602業務處理板卡)是目前市面上唯一經過了實網驗證的設備,10G獨立機箱設備(PET160/320)是目前最大密度的協轉設備,3G/LTE產品(ATCA-NTW6402)由於采用軟硬結合方案(FPGA+NPU),單板處理能力達到40G bps 3G GRE/ 160G LTE,具有最高性價比。

網絡分流器|高速骨幹網流量采集與分流實現