1. 程式人生 > >萬方+網路攻擊+機器學習

萬方+網路攻擊+機器學習

1. 基於機器學習的入侵檢測技術概述 - 數字安防/2016

入侵檢測系統設計分析

機器學習、誤用規則處理、網路資料包捕獲以及資料預處理等四個部分構成,機器學習模組為該系統的關鍵環節

(一)機器學習模組。基於機器學習的入侵檢測系統中的關鍵模組就是機器學習模組,利用該模組的訓練功能可以讓學習機完成檢測入侵。

(二)網路資料包捕獲模組。網路資料包捕獲模組通常在監視和驗證網路實時流量、工作情況等方面應用。對網路捕獲資料包進行分析是保障網路入侵檢測系統、網路安全軟體、網路管理軟體等安全執行的基礎,而資料包嗅探器(Sniffer)的應用可以完成網路捕獲資料包並進行分析這一
任務,因此Sniffer就是系統高效和安全執行的保障,可以說資料包嗅探器是入侵檢測系統中最為基礎的程式之一。

(三)資料預處理模組。資料預處理模組的應用功能是進行大量原始資料包的預處理工作,而這些資料包的主要來源就是網路資料包捕獲模組捕獲所得,該階段處理工作的完成對後續的檢測分析具有十分重要的意義。

(四)誤用規則處理模組。誤用規則處理模組在應用過程中是以規則為基礎,通過對系統中模式資料庫與已存網路入侵與捕獲到的資訊對比分析,發現並找到存在安全隱患的行為,有效的提高了誤用規則的檢測的準確性,同時在檢測效率方面也有積極的作用。

機器學習方法的使用

(一)基於貝葉斯分類的方法

(二)基於神經網路的方法
經實踐證明,基於神經網路的入侵檢測方法在誤用檢測應用中較為理想。例如在該方法的應用即使在低預警情況下,也可以快速將一些已知的攻擊方式進行識別。

2. 基於機器學習方法的入侵檢測技術 - 資訊通訊/2015

傳統檢測手段
僅僅是利用簡單的模式匹配來發現是不是原有的攻擊,但是這種方法卻不可以預測出新的攻擊,同時也不可以通過自我學習的方式來產生新的檢測規則,所以入侵檢測系統仍存在很多缺陷和隱患。

1.基於貝葉斯分類的方法
沒打算用非機器學習方式,就沒展開看。

2.基於神經網路的方法
優勢:

1) 神經網路能夠通過大量的例項,進行訓練,然後學會知識,並從中得到正常的使用者或系統活動的特徵模式,擁有預測的能力,從而不需要獲取描述使用者行為特徵的特徵集以及使用者行為特徵測度的統計分佈。

2) 能夠把新發現的入侵攻擊例項展示給神經網路,經過第二次的訓練讓神經網路可以對新的攻擊模式做出反應,由此讓入侵檢測系統獲得自適應的能力。

3) 當入侵檢測系統正常的工作模式被神經網路掌握了之後,它就可以對偏離系統正常工作的事件產生反應,還能夠發現一些新的攻擊模式。

4) 神經網路經過訓練,能夠把對模式的判斷和匹配轉換成數值的計算,這樣有利於加快系統的處理速度,使其更適合於實時處理。

3.基於基因演算法的方法
屬於機器學習。還沒學

4.基於支援向量機的方法
屬於機器學習。還沒學

3. 基於深度學習的惡意URL識別 - 計算機系統應用/2018

深度神經網路能夠自動提取資料特徵的特性為 URL 識別提供了一種新的思路. 根據 Anh 等人 [17] , 正常和惡意 URL 具有不同的詞法特徵, 即字元出現的頻率, 位置, 和前後字元的關係具有可以區分的特徵.

提出一種完全基於 URL 字串的詞法特徵, 利用深度神經網路實現的惡意 URL 識別演算法.

識別演算法分為 3 個階段, 首先訓練構成 URL 的字元表示為實數向量的形式; 其次基於第一步得到的對映表, 將 URL 轉換成特徵影象; 最後將特徵影象輸入卷積神經網路 CNN 去學習特徵, 通過一個全連線層實現對 URL 的分類.

本演算法共有兩個部分: 訓練部分和預測部分.

首先, 系統監控使用者瀏覽行為過程並生成日誌; 然後, 使用深度學習對日誌檔案進行訓練得到字元的嵌入式模型; 第三步, 利用上一步得到的模型對網頁 URL 進行特徵轉化; 最後, 使用並行的 CNN 演算法訓練已標註的惡意/良性 URL 特徵.

在訓練模型之後, 我們使用經過訓練的 CNN 模型進行評估驗證過程. 首先, 使用字元的嵌入式表示對日誌行為資料進行特徵轉化; 然後, 使用訓練後的CNN 模型進行詞法特徵提取, 最後再使用分類輸出層進行惡意概率的計算

...之後是詳細訓練過程...

實驗

本研究採用十折交叉驗證對 80 000 多個 URL 進行分類驗證.

在我們的實驗資料集上, 模型的準確率為 0.962 、召回率為 0.879、F1 值為 0.918, 模型整體達到了很好的預測效果.

4. 基於稀疏自編碼深度神經網路的入侵檢測方法 - 行動通訊/2018

其他方法缺陷

傳統缺陷

網際網路的安全防範技術不斷湧現並被廣泛應用:
(1)資料加密和防毒軟體等被動防範技術;
(2)對網路安全狀態進行實時檢測的主動防範技術。
上述兩種技術都是採用資料庫匹配技術實現入侵行為的識別。但是在實際的生產環境中,黑客或惡意軟體的入侵行為並不是一成不變的,當出現新的入侵行為時,上述的入侵檢測方法就顯得無能為力了。

神經網路缺陷

採用神經網路進行網路入侵行為的檢測,但是由於神經網路是基於一定規模的訓練樣本進行模型構建,在訓練樣本足夠多的情況下才能保證模型的精度,而入侵行為本來就是小概率事件,因此該方法的入侵檢測結果不穩定,檢測正確率也不如人意。

支援向量機缺陷

支援向量機對訓練樣本的要求沒有神經網路那麼苛刻,但是其也存在致命的缺陷:引數的確定和在高維特徵空間的“維數災難”的難題。

半監督學習缺陷

半監督的方法訓練少量標記的資料獲得大規模的資料集,引用資訊增益率從定量的角度來衡量不同網路入侵行為特徵對入侵檢測預測結果的影響,能夠在一定程度上提高未知攻擊檢測的效能,但是該方法的精度與選取的半監督方法有密切的關係。

本文提出

提出一種無監督的網路入侵檢測方法——基於稀疏自編碼深度神經網路入侵檢測方法,採用非監督學習 自動提取入侵行為特徵用於入侵行為的檢測。

實驗

總共提取網路連線記錄8 326條,其中無標籤資料1 126條,有標籤訓練集5 065條,有標籤測試集2 135條。

實驗資料包括了4種常見的網路入侵行為(包括Dos、R2L、U2R以及Root許可權訪問以及Probing埠監視或掃描)和正常的網路行為的三種不同型別的資料。