交通擁堵已經成為當今時代與每個人息息相關的問題，它直接影響了我們在現代社會的生活體驗。傳統的分散式交警管控方式，已無法解決急速擴張的汽車保有量與緊張的公路資源之間的矛盾，這顯然也不是網際網路時代解決問題的一貫思路。所以我們有了品類繁多的網際網路導航系統，它可以在出發前就根據全城的實時路況為駕駛者推薦最優路線，甚至當途中突遇堵車時，可以快速調整路線。這是一個看上去很棒的方法，前提是所有的駕駛者都會聽從電子導航的指揮，但看看路上的漫漫長龍，就能感受到現實的骨感。假如能有一個超級警察，可以讓所有的車輛都按照規定線路行駛；並且摩托車、小汽車、大貨車的通行情況可以根據當前的路況隨時調整；當發生擁堵時，可以讓救護車、消防車、公交車等具有暢通無阻的特殊通道，相信城市交通問題將大大緩解。那麼問題來了，這個超級警察什麼時候才能降臨呢

2017年12月，騰訊DCI網路深圳Region成功上線了全球首個基於交換機實現的SDN集中控制的Segment Routing Traffic Engineering方案。該方案經過三年多的研究探索及15個月的開發測試，基於Segment Routing技術和SDN思想，率先實現了對10w伺服器級別的IDC園區間通訊，進行全域性視角的、頻寬利用率和鏈路質量等多維度、可定義約束條件的智慧排程。騰訊DCI網路向著打造軟體定義的、開放的高度智慧化網路的目標又邁出了重要一步。

圖1 網路拓撲展示示意圖

騰訊DCI網路自建立之初，至今已經歷過數次技術演進，其中2011年的IP向MPLS技術的演進，是騰訊DCI網路發展的重要里程碑之一

MPLS技術在運營商網路中已有超過十年的成熟應用，基於MPLS技術實現的RSVP-TE協議，提供了完整的流量工程方案，網路裝置可以基於不同的服務等級進行隧道頻寬預留和路徑計算。但是RSVT-TE由於協議設計和實現的複雜性，在實際應用中遇到了很多問題。比如其複雜的協議互動流程，對裝置的軟體實現帶來了很大的挑戰，並且當網路規模不斷擴大，TE Tunnel數量逐漸增多，所有隧道路徑的首節點、傳輸節點、尾端節點都需要維護大量的LSP資訊，這對於裝置效能的消耗十分顯著。

如今騰訊在全球已擁有百萬級伺服器規模，面對如此龐大的網路，以及在雲上使用者業務對網路效能提出的更加嚴苛的要求下，我們必須選擇一個更加有效的流量工程方案。也正是在這樣的背景下，騰訊DCI網路在剛剛過去的幾周，完成了再一次的重大技術演進，基於SDN集中控制的SR-TE流量排程方案成功上線。

Segment Routing技術自提出以來就在行業內引發了廣泛的關注和討論，作為乙太網領域“繼MPLS之後最具革新意義的網路協議”，現在已經具備了多個RFC draft，同時業界主流網路裝置供應商也紛紛在軟硬體方面提供了全面支援。但是至少到目前為止，還沒有形成一個統一的、標準的應用方案。騰訊作為全球網際網路行業的領導者和先行者，結合自身網路場景特點和需求，藉助SR和SDN技術自主設計了完整的SR TE集中控制流量排程方案。該方案無需網路裝置供應商對現有IGP協議進行拓展開發，SR相關控制層面完全由控制器實現，為方案的快速落地和穩定執行奠定了基礎。之所以選擇了SR技術，除了其在設計理念上利用了源路由技術天然避免了LSP對傳輸節點和尾節點的壓力，更是看重了其與SDN思想完美結合的能力。傳統的分散式流量工程方案只能基於單一節點進行流量排程，引入了SDN控制器，就可以實現基於全域性資訊對Tunnel進行路徑計算，從而達到提高整網利用率的效果；同時，將路徑計算的控制層轉移到控制器，為使用者自定義、可程式設計的實現流量排程提供了極大的便利。

圖2 方案部署流程示意圖

為了提高方案的可靠性，我們設計部署了TE的Hot-Standby保護、多場景的BFD保護等方案，同時結合控制器和智慧網管系統開發實現了一鍵隔離、一鍵逃生等功能，確保在鏈路故障、網路節點故障、控制器故障等場景下業務流量可以進行優雅切換。

作為一個SDN集中控制方案，在設計時對轉發層面進行儘量簡化的同時，勢必將更多的控制層功能上移到了控制器，在邏輯上增加了控制器的實現複雜度，這也是SDN控制器最有價值的部分。考慮到騰訊複雜、多廠商裝置共存的網路場景，我們選擇了具有豐富南向協議、平行可擴充套件的開源控制器平臺Opendaylight作為我們底層的核心控制器平臺，並結合SR-TE流量排程方案進行了定製化的開發與增強。

圖3 SDN控制器架構示意圖

圖3為我們控制器的一個整體架構。在南向，我們使用當前成熟的BGP-LS協議動態收集網路拓撲與TE屬性，並結合騰訊智慧網管平臺所提供的多維度網路引數（i.e流量，延時，丟包率等），使用定製化的路徑計算演算法進行TE LSP路徑的動態實時調整，以實現“上帝視角”的網路資源最優分配。在網路故障或擁塞場景下，演算法可根據隧道優先順序進行智慧優化，優先將低優先順序隧道繞行，解決網路擁塞問題，同時保障網路SLA。在騰訊複雜的網路場景下，存在著多廠商轉發裝置共存的環境。在控制器南向方面，我們使用成熟的NETCONF協議。同時，我們致力於推動基於OpenConfig YANG的配置標準化。通過統一模型，遮蔽多廠商裝置差異，實現轉發裝置的統一管理和配置。未來，我們會繼續探索更加高效的南向通道（如：BGP SR-TE Policy等），以實現控制器更加快速敏捷的調整網路路徑。在可靠性方面，我們增強優化了開源ODL平臺的叢集機制，解決了網路延時場景下資料同步效率問題，實現了控制系統的跨區域部署容災，提供了最可靠的DCI網路控制系統。網路的開放性一直是我們在SDN探索道路上的目標之一。在SR-TE流量排程系統中，我們將智慧網路路徑計算能力通過控制器北向介面開放給騰訊豐富的業務場景，實現業務定製化的網路算路請求。如：流量負載均衡、延時最短、丟包率最低等。

完善的SDN控制器設計和實現，大大降低了對轉發裝置的複雜度要求，讓整個方案在基於ASIC晶片的交換機上實現成為可能。無論交換機廠商採用商用套片還是自研晶片，只需要在現有邏輯下增加對Segment Routing相關表項和標籤棧封裝的支援即可，無需對現有Pipeline進行改變；另外通過對現有ACL能力的運用，可以完整的實現CBTS（Class-Based Tunnel Selection）功能。這意味著我們不需要再通過購買昂貴的基於NP晶片的路由器來實現複雜的流量工程，每100G網路建設成本下降為之前的1/10甚至更低。隨著ASIC晶片廠商對於使用者最前沿技術需求的不斷追逐，以及晶片設計上逐漸提升的可程式設計能力，我們看到尤其在OTT基礎網路場景中，交換機和路由器在能力上的界限已逐漸模糊，相信未來成本相對較低的基於ASIC晶片的核心交換機會成為DCI網路的主流。

全新的流量排程方案幫助騰訊提升網路平均頻寬利用率15%以上，在每年超過100T的資料中心互聯頻寬建設背景下大大降低了網路建設成本，並且對多點故障等極端場景下引發的流量擁塞可實現秒級自動檢測和排程。未來隨著骨幹網IPv6技術的推進，基於Segment Routing技術的流量排程方案也將會隨之進行更具有創造性的演進，諸君敬請期待。

本文轉自“鵝廠網事”公眾號