支持 采集器 必須 當前 平臺 大數據分析 協商 ddr 動態

10G網絡分流器：傳統產品與新的挑戰
網絡分流器（Network Distributor）是一種網絡流量過濾采集設備，工作在第三、四層，專門用於互聯網流量分析領域，是一種為降低後端分析而進行流量過濾、衰減、交換和分流的設備。目前已有的戎騰網絡分流器包括千兆、10G（POS、WAN、LAN）、40G（POS、LAN）、100G以太網、PON（EPON、GPON）、WIFI、3G和LTE等。

網絡分流器有時候又稱為流量采集器（Traffic Collector）或者網絡探針（Network Probe）。
1．引言｜網絡分流器
10G骨幹鏈路從2003年開始在運營商部署應用，到現在已經有十多年了。10G鏈路又分為10G LAN（以太網）、10G POS和10G WAN。十年以前，在這類鏈路上執行網絡監控、信令分析、大數據分析、IDC防護和內容審計對各個廠商而言都是比較大的挑戰，這主要是因為：
（1）當時，10G骨幹鏈路技術只掌握在路由器廠商手中，而路由器廠商相對比較強勢。分流器需要大容量規則、分組分流、特征模式、DNS規則、兩級表過濾、輸出QoS、動態IP監控等特殊功能，要求硬件生產廠家必須深入創新，開發新的產品。但是路由器廠商認為這是一個小眾市場，不願意投入人員來研發，而是使用路由器（或者是經過局部修改的路由器線卡）充當分流器，而流量分析領域的廠商不具備議價和協商的能力。
（2）分析領域廠商本身對業務和加速能力缺乏完整理解，分析領域廠商擅長於從普通以太網網卡捕獲報文，然後用軟件方式進行流重組和協議分析，其所有的技術沈澱都在X86平臺上。這類解決方案需要大量的服務器以集群方式堆積來形成完整的10G鏈路分析系統，性能通常不會很高。
（3）以前的服務器的處理能力有限，因為核比較少，內存訪問的延遲無法隱藏，即使經過反復的優化，也無法達到Gbps以上的處理性能。當前的形勢已經完全不一樣，分流器領域競爭激烈，形成了戎騰網絡且分析領域廠商經過十年的積累已經對業務有了較好的沈澱，敢於提出自己的需求，也深刻了解了計算負載如何在硬件和軟件之間分配。另外，服務器的流量處理能力也從300-400Mbps提高了2Gbps左右。因此，10G分流器當前面臨著要增加新的功能、增加密度並進一步降低成本的問題。
2．挑戰｜戎騰網絡分流器
估計目前在全國範圍三大運營商中，骨幹鏈路和骨幹鏈路邊緣的10G光纖（包括10G LAN、10G WAN和10G POS）達到了萬條左右的規模。在如此多的鏈路上部署審計和信令分析系統，面臨一些新的挑戰：
（1）如何保護用戶投資並擴展單機箱對不同鏈路的支持能力：運營商的網絡是逐步建設起來的，這決定了在一個城市，鏈路種類比較多，包括2.5G、10G、40G和100G等多種。即使在10G鏈路上，又分為10G以太網LAN、10G以太網WAN和10G POS等形態。很多時候，分析廠商可能直到上線才知道鏈路層的協議類型。
（2）如何增加產品的密度：由於鏈路多、種類復雜，設備的密度最好比較高，體系比較小，功耗比較低。
（3）精細分流能力：能夠在流一級基於DPI（深度報文檢測）過濾掉絕大部分的流量，這樣才能有效降低後端分析服務器的負載。
（4）性價比：十年以前，分流器占到整體解決方案成本的50%，目前雖然降到了20%左右，但是成本仍然是廠家重要的考慮因素。
3．解決方案
傳統10G分流器一般只有簡單的協議轉換、萬條級的多元組過濾、分組分流等功能，隨著技術的發展，支持串規則、流管理、DNS規則、千萬條以上多元組規則等應用需求被挖掘出來，需要硬件廠商具備更強的研發實力和技術沈澱。新型分流設備一般采用圖1所示的處理流程。
圖1 新型10G分流設備處理流程
在整個處理流程中，數據提取針對不同的鏈路執行不同的功能，如普通以太網采用PHY芯片完成此功能，而POS和WAN則需要Framer。多元組過濾和內容過濾有軟件和硬件兩種處理方式。其中內容過濾的處理能力十分關鍵，在2.5G/s POS鏈路上最大報文吞吐率為6Mpacket/s，每一個報文的最短處理時間為167ns。10G/s POS鏈路的最大報文吞吐率為26Mpacket/s，每一個報文的最短處理時間為37ns。當前，在高速關鍵字匹配方面，有FPGA+SRAM、TCAM以及純軟件幾種方式，分別有其相應的優缺點。使用TCAM（Ternary Content Addressable Memory）進行關鍵字過濾具有速度快、規則動態性好等特點，但是由於TCAM是基於最先匹配的，即只能報告最先匹配的地址。而內容審計和應用行為分析是基於多匹配的，即同一個報文可能匹配多個關鍵字，且TCAM具有長度受限的特點。TCAM用於解決內容模式多匹配，要解決長規則和規則存儲順序兩個問題。鏈接共享多匹配（Linking Shared Multi-Match，LSMM）是一種較好的解決方案。其基本思想是：TCAM每個表項由前段號和段內容組成。若TCAM中存儲有n個表項，則需要在每個表項中擴展位用於存儲前段規則的地址（前鏈域）。每次進行匹配前，將要匹配的內容前面加上前鏈域，送入TCAM器件進行匹配。命中規則的前綴段時，需要將其記錄到存儲器中，稱之為部分命中表，記錄命中的報文位置和段索引。通過TCAM良序的規則分配方法，將規則長度任意的規則集分配存儲到TCAM中之後，則對任何匹配規則集中多個規則的報文，不會遺漏任何一次匹配。大規模流管理是另一項關鍵技術，好的散列方式，並在DDR的多個通道和Bank之間並行訪問存儲器，可以提高部分性能。另外，可以通過智能流表分配、無鎖定超時、多通道虛擬隊列等配套技術來提高流管理的性能。綜合考慮設備的密度、體積、功耗和成本，戎騰網絡的10G分流器（包括PET160A、PET160B、PET320A和PET320B）通過多元組過濾、流管理和DNS規則對報文進行過濾，能夠執行更精細的流量分類。PET設備采用模塊化結構，可以擴展子卡來增加對接口的支持能力。獨有的多鏈路協議封裝（MPE）使得數據提取模塊組件化，可以在1U機箱內支持32個網口，每個網口可以是千兆以太網、2.5G POS、10G LAN、10G POS、10G WAN、40G以太網等不同類型，且每個接口的輸入和輸出可以完全不同，用戶可以自由配置，除40G以太網需要配置不同的子卡之外，其他接口都可以采用一種子卡（只需要進行軟件配置）。圖2 PET160

圖3 PET320
這讓用戶的選擇余地更多，如果只有1-2對鏈路，可以使用PET160配置一塊子卡。如果鏈路比較多，可以選擇PET320滿配。超過PET320鏈路容量時，可以使用PET設備串接。如圖4所示，3臺PET320B可以實現92個接口流量的輸入，最大容量達到920Gbps。如果繼續擴展，可以增加更多的輸入接口，且其輸入鏈路類型可以各不相同。這顯著地增加了系統的可擴展性，保護了用戶的投資。
圖4 PET320串接部署

4．網絡分流器｜結論
在高速網絡環境下，隨著主幹網絡帶寬和流量的急劇增加，復雜網絡應用的層出不窮，傳統網絡IDS、內容審計系統、信令分析系統在數據捕獲和數據處理方面面臨很大的挑戰。10G分流器是一個復雜的系統，設計和實現這樣的系統需要綜合考慮成本、體積、功耗、密度，以及所需要的精細分流功能｜戎騰網絡分流器

網絡分流器｜10Ｇ網絡分流器：傳統產品與新的挑戰