hihttps是一款基於MQTT的免費的物聯網防火牆，同時也是web應用防火牆，既支援傳統的檢測功能如SQL注入、XSS、惡意漏洞掃描、密碼暴力破解、CC、DDOS等），又支援無監督機器學習，自主對抗，重新定義網路安全。

今天筆者就從物聯網安全的角度，介紹hihttps怎樣通過機器學習自動生成對抗規則的5個過程：

一、   樣本採集

MQTT是物聯網loT最廣泛採用的協議，騰訊百度阿里雲都支援，基礎協議請百度搜索“物聯網防火牆himqtt原始碼之MQTT協議分析”。

和圖形影象的人工智慧一樣，機器學習無論是有監督還是無監督，第一步都是先採集樣本。物聯網安全有先天性的樣本採集優勢，成本幾乎為0，方法是：通過反向代理的模式採集完整的MQTT協議資料，可以參考hihttps原始碼https://github.com/qq4108863/himqtt/ ，樣本要求如下：

1、足夠的隨機化，在不同的IP地址之間隨機採集。

2、足夠多的樣本，保證99.99%的正確率，至少需要採集數萬份的樣本。

3、足夠的時間，至少在不同的時間段採集3-7天的樣本。

4、儘量是正常流量下采集，減少樣本被黑客攻擊汙染的可能性。

5、完整的資料，樣本包括全部的MQTT協議頭和body。

基於機器學習的物聯網防火牆hiihttp是怎樣工作的呢？比如有個TOPIC介面"hihttps/read"，在正常情況是通過json形式訪問，hihttps先把採集到樣本引數儲存在train訓練目錄下，樣本檔案主要內容如下：

"topic": "hihttps/read"

{ "id": 123,"token": "2458-a632-3d56-a9bf "}

{ "id": 456,"token": " ce58-a49d-b767-68ed"}

{ "id": 678,"token": "2bd8-c4d2-d324-29b3"}

{ "id": abc,"token": "45d8-35d2-e8f3-fe4a"}

{ "id": abc%20’or 1=1,"token": "2bd8-c4d2-d324-29b3 "}

……

當採集到的樣本數量，達到一定數量（如1萬），hihttps機器學習引擎就開始啟動，第一步就是濾噪。

二、 濾噪

在正常的情況下，拿到的樣本絕大多數是大量重複性存在的，但是也不排除樣本存在黑客攻擊，也就是說，個別樣本可能已經被汙染了，hihttps在降維和特徵提取之前先過濾。

濾噪的方法通常是用聚類方法，把樣本分為兩類，把其中小於3%的樣本去掉，通常有以下幾種做法：

1：json引數過濾。比如正常情況下是{ "id": xxx,"token":xxx}，那麼如果有小於1%的是{ "sql": xxx,"xss":xxx}，那麼就要過濾這條樣本。

2：名稱長度過濾。一般來說，字串長度值分佈，均值μ，方差σ3，在切比雪夫不等式範圍外，要過濾掉。

3：引數值長度過濾。一般來說，引數如tolken=xxx，其中xxx的長度值分佈，均值μ，方差σ3，在切比雪夫不等式範圍外，要過濾掉。

4：SQL注入過濾。用libinjection庫查一遍，符合SQL注入特徵的樣本要過濾。

5：XSS攻擊過濾。用libinjection庫查一遍，符合XSS特徵的樣本要過濾。

6：其他已知攻擊過濾。如ModSecurity 的OWASP規則很牛，先跑一遍過濾。

經過濾噪處理後，我們把樣本就分為正常和異常樣本，正常的如下：

{ "id": 123,"token": "2458-a632-3d56-a9bf "}

{ "id": 456,"token": " ce58-a49d-b767-68ed"}

{ "id": 678,"token": "2bd8-c4d2-d324-29b3"}

{ "id": abc,"token": "45d8-35d2-e8f3-fe4a"}

……

少數異常樣本，如疑似SQL注入攻擊則去掉

{ "id": abc%20’or 1=1,"token": "2bd8-c4d2-d324-29b3 "}

……

整個過程，無監督進行，可以用到的數學演算法有K均值（K-Mean）、主成分分析PCA、切比雪夫不等式、高斯混合模型GMM、稀疏矩陣……

具體的演算法原始碼可以參考https://github.com/qq4108863/AI

三、 降維

濾噪後最重要的一步就是降維，這是機器學習的核心。降維就是通過特定的數學演算法，把複雜的東西，用特徵表達向量，變為機器可以理解的東東，降維方法分為線性降維（PCA 、ICA LDA、LFA、LPP等）和非線性降維KPCA 、KICA、KDA、ISOMAP、LLE、LE、LPP、LTSA、MVU等）。

怎麼讓機器理解/hihttps?id=abc%20’or 1=1’這就是一條攻擊呢？在物聯網安全領域和圖形影象完全不同，主要就是涉及自然語言處理，尤其是文字的識別，主要有下面幾種模型：

1、詞袋模型

文字的降維本質上涉及到了文字的表達形式。在傳統的詞袋模型當中，對於每一個詞采用one-hot稀疏編碼的形式，假設目標語料中共有N個唯一確認的詞，那麼需要一個長度N的詞典，詞典的每一個位置表達了文字中出現的某一個詞。在某一種特徵表達下，比如詞頻、binary、tf-idf等，可以將任意詞，或者文字表達在一個N維的向量空間裡。憑藉該向量空間的表達，可以使用機器學習演算法，進行後續任務處理。

這種方式被稱為n-gram語法，指文字中連續出現的n個語詞。當n分別為1、2、3時，又分別稱為一元語法（unigram）、二元語法（bigram）與三元語法（trigram）。

2、維度選擇方法

常用的有卡方、互資訊這種統計檢驗的方法；還有藉助機器學習模型降維的方法。比如，使用隨機森林，或者邏輯迴歸等模型，篩選出那些在分類任務中具有較大特徵重要性，或者係數絕對值較大的TOP特徵作為降維後的特徵集合。

3、主題模型

主題模型同時具備了降維和語義表達的效果，比如LSI、LDA、PLSA、HDP等統計主題模型，這些模型尋求文字在低維空間（不同主題上）的表達，在降低維度的同時，儘可能保留原有文字的語義資訊。

4、神經網路

如卷積神經CNN、迴圈神經RNN等。

理論可能有點複雜，那我們直接拿4條樣本來舉例說明吧：

{ "id": 123,"token": "2458-a632-3d56-a9bf "}

{ "id": 456,"token": " ce58-a49d-b767-68ed"}

{ "id": 678,"token": "2bd8-c4d2-d324-29b3"}

{ "id": abc,"token": "45d8-35d2-e8f3-fe4a"}

 …..

降維的目的就是為了讓機器能夠理解id是什麼，token又是什麼，什麼情況是攻擊。我們先來定義一些稀疏編碼：

N：整數，0-9

C：字元，a-z

X: 16進位制數字，0-9 a-f

D:標點分隔符.-|

……..

{ "id": 123,"token": "2458-a632-3d56-a9bf "} 這種我們就用稀疏編碼把其維度降為id=N，token=XDXDXDX，這樣機器就可能理解了，哦，原來id就是數字嘛。

當然這是最簡單的情況，實際場景可能很複雜，比如10.1究竟是代表數字？或者錢？或者版本號呢？就需要做更多的引數關聯運算（如money或者version）。如果我們觀察到的樣本，大於99.9%的引數id都是數字，就可以認為{ "id": abc,"token": "45d8-35d2-e8f3-fe4a"}就是一條非法攻擊，這就是機器學習能夠檢測未知攻擊的核心原理。

實際生產環境中情況更復雜的，所以讓機器達到網路專家的智慧水平，還有很長的路要走，但這是必然的發展方向。

四、特徵提取

下一步，hihttps就是對正常流量進行數值化的特徵提取和分析。通過對大量樣本進行特徵分佈統計，建立數學模型，特徵提取包括：JSON引數個數、引數值長度的均值和方差、引數字元分佈、TOPIC訪問頻率等等。如下表所示：

五、生成對抗規則

最後hihttps通過大量的樣本採集 ，精確給這個"hihttps/read"介面引數，生成對抗規則，儲存在rule目錄下，和傳統OWASP規則放在一起，保護物聯網伺服器不被攻擊。

下面的一律視為攻擊，只有機器學習才有可能檢測未知攻擊，這是網路安全專家也難以做到的。

{ "id": 123 }                                 引數缺少

{ "id": abc,"token": " ce58-a49d-b767-68ed"}    引數id值不正確

{ "admin": %0acdef,"token": "2bd8-c4d2"}      未知攻擊

….....

最後總結如下：

1、整個過程完全是無監督的機器學習，有些特殊的引數，也可以由網路安全專家人為干預半監督，從而從99.9%到100%準確率的進化。

2、傳統的規則很難對付未知漏洞和未知攻擊。讓機器像人一樣學習，具有一定智慧自動對抗APT攻擊或許是唯一有效途徑，但黑客技術本身就是人類最頂尖智力的較量，物聯網安全仍然任重而道遠。

3、幸好hihttps這類免費的物聯網防火牆在機器學習、自主對抗中開了很好一個頭，未來物聯網安全很可能是特徵工程+機器學習共同完成，必然是AI的天