隨著網路流量持續增長，2021年全球網際網路頻寬增長29%，達到786 Tbps。除了記錄流量之外，根據Google的資料，95%的流量現在都已加密。隨著威脅參與者不斷髮展其策略和技術（例如，在加密流量中隱藏攻擊），保護組織變得越來越具有挑戰性。

ML 加密流量分析

為了幫助解決這些問題，許多網路安全和運營團隊更多地依賴機器學習 （ML） 技術來識別網路流量中的故障、異常和威脅。但隨著加密流量日益成為常態，傳統的ML技術也需要發展。在本文中，我想看看今天使用的ML模型的型別，並探索如何將它們與Deep Packet Dynamics（DPD）技術配對，以瞭解可能隱藏在加密流量中的威脅。

要成功使用 ML、NOC 和 SOC 團隊，需要三件事：資料收集、資料工程和模型評分。

資料收集涉及直接從網路資料包流中提取元資料。資料工程是將原始資料移動到正確的位置並將其轉換為模型輸入的過程。這包括資料標準化和功能建立等任務。模型評分是將 ML 演算法應用於資料的最後階段。這包括訓練和測試模型的必要步驟。

從歷史上看，ML一直依賴於批處理模型。對於花園式大資料，傳統的資料管道執行良好。模型使用歷史回顧性資料進行離線訓練。稍後，它將部署在已儲存以供分析的資料上。

它的工作原理是這樣的：首先，團隊建立了一個高度工程化的資料管道，將所有資料移植回一個巨大的資料湖中。接下來，通過執行查詢和預處理指令碼來建立歷史要素。最後，在大量資料集合上訓練模型。準備就緒後，訓練的模型將移動到生產環境，這需要將每個資料處理步驟轉換為面向外部的應用程式。

儲存和處理大量資料（即需要專用工具進行儲存和處理的“大”資料，而不是以傳統資料庫記錄格式儲存）的成本可能過高，這可能會使人望而卻步。這種 ML 方法需要大量的擴充套件和資源。它對於具有較大時間範圍的模型開發和預測模型非常有用。

但是，隨著網路流量的增長，有一種較新的替代方案稱為流式ML。它利用的資源佔用空間要小得多，同時超過了最高頻寬網路的效能要求。當與加密流量分析相結合時，組織擁有一個強大的工具，可以提供有關網路威脅的可見性。從歷史上看，對網路流量的研究是使用深度資料包檢測（DPI）完成的，但是隨著越來越多的流量現在被加密，它變得越來越沒有用處。這推動了市場採用一種稱為Deep Packet Dynamics

DPD 功能包括流量特徵，如生產者/使用者比率、抖動、RST、重新傳輸、資料包長度和時間序列 （SPLT）、位元組分佈、連線設定時間、往返時間等。它提供了非常適合 ML 的高階功能，並且可以有效地識別簡單和增強方法無法捕獲的模式和異常。但它們不能以追溯方式計算，它們必須在流量實時流經時捕獲。這種形式的密碼分析通過消除解密和檢查流量的處理密集型中間人（MITM）技術來增強隱私。

通過將流式處理 ML 與 DPD 相結合，SOC 和 NOC 團隊可以更輕鬆地實時檢測高階威脅。例如，這種方法可以發現網路上正在進行的勒索軟體攻擊，包括橫向移動，高階網路釣魚和水坑攻擊，內部威脅活動等等。這種方法還消除了加密盲區，並恢復了網路防禦者的可見性。

到2025年，幾乎所有的網路流量都將被加密。隨著加密的增長（以及新的威脅），組織必須更加依賴流式ML（包括機器學習引擎）和加密流量分析，以獲得對異常流量的必要可見性。沒有它，攻擊者將繼續繞過傳統的安全機制，隱藏在加密中，併成功完成攻擊。

原文轉自helpnetsecurity，超級科技譯，合作站點轉載請註明出處和原文譯者為超級科技！

Hi，我是超級科技

超級科技是資訊保安專家，能無上限防禦DDos攻擊和CC攻擊，阿里雲戰略合作伙伴！