機器學習——異常檢測

在生產生活中，由於裝置的誤差或者人為操作失當，產品難免會出現錯誤。然後檢查錯誤對人來說又是一個十分瑣碎的事情。利用機器學習進行異常值檢測可以讓人類擺脫檢錯的煩惱。

檢測演算法

• 1.選定容易出錯的\(n\)個特徵\(\{x_1^{(i)},x_2^{(i)},\ldots,x_n^{(i)}\}\)作為變數。
• 2.計算m個樣本的平均值和方差。
  \[{\mu_j} = {1 \over m}\sum\limits_{i = 1}^m {x_j^{(i)}}\]

\[ {\sigma ^2} = {1 \over m}\sum\limits_{i = 1}^m {(x_j^{(i)}} - {\mu _j}{)^2} \]

• 3.給定監測點\(x\).計算\(p(x)\)
  \[p(x) = \prod \limits_{j = 1}^n {p({x_j};{\mu_j},\sigma_j^2)}\]

• 4.如果\(p(x)< \epsilon\),則為異常值；反之，不是。

開發和評價一個異常檢測系統

異常檢測演算法是一個非監督學習演算法，意味著我們無法通過結果變數判斷我們的資料是否異常。所以我們需要另一種方法檢測演算法是否有效。當我們開發一個系統時，我們從有標籤（知道是否異常）的資料入手，從中找出一部分正常資料作為訓練集，剩餘的正常資料和異常資料作為交叉檢驗集和測試集。

具體評價方法如下：

• 根據測試集資料，估計出特徵的平均值和方差，構建\(p(x)\)
  函式
• 對於交叉檢驗集，嘗試使用不同的\(\epsilon\)最為閾值，並預測資料是否異常，根據F1值或者查準率與查全率的比例來選擇\(\epsilon\)
• 選出\(\epsilon\)後，針對測試集進行預測，計算異常檢驗系統的F1值或者查準率與查全率之比

異常檢測與監督學習對比

分佈的處理

• 對於高斯分佈的資料，直接運用以上演算法就好。
• 但是對於非高斯分佈的資料，雖然也可是使用上面的演算法，但是效果不是很好，所以我們儘量將非高斯分佈轉化成（近似）高斯分佈，然後再進行處理。
• 資料整體偏小，可以求\(ln(x)\)或者\(x^a,0<a<1\)
• 資料整體偏大，可以求\(e^x\)或者\(x^a,a>1\)

誤差分析

在誤差分析中，如果我們可以發現我的選定的變數是否合適，進而進行相應的改正。如左圖所示，異常點\(x\)對應的概率很高，顯然這種分佈方式不能很好地識別出異常值。所以我們嘗試增加變數或者改變變數的型別來識別異常值。如右圖所示，通過增加一個變數，我們能夠更好地識別異常點。所以，誤差分析對於一個問題來說還是很重要的。