今天和大家簡單聊聊異常檢測技術的簡要概述。

什麼是離群值，如何處理它們？

“Observation which deviates so much from other observations as to arouse suspicion it was generated by a different mechanism” — Hawkins(1980)

  異常值是偏離資料其他觀測值的極端值，它們可能表示測量的可變性，實驗誤差或新事物。 換句話說，異常值是偏離整體樣本的觀察值。

離群值的型別

  異常值可以是兩種：單變數和多變數。 當檢視單個特徵空間中的值分佈時，可以找到單變數異常值。 多變數異常值可以在n維空間（n個特徵）中找到。 觀察n維空間中的分佈對於人類大腦來說可能非常困難，這就是為什麼我們需要訓練一個模型。
  不同的環境，異常值也可以有不同的風格：點異常值，背景異常值或集體離群值。 點異常值是與分佈的其餘部分相距甚遠的單個數據點。 語境異常值可以是資料中的噪聲，例如在進行語音識別時實現文字分析或背景噪聲訊號時的標點符號。 集體異常值可以是諸如可能指示發現新現象的訊號的資料的新穎性子集（如圖B所示）。

資料集中出現異常值的最常見原因：

• 資料輸入誤差（人為誤差）

• 測量誤差(儀器錯誤)

• 實驗誤差(資料提取或實驗計劃/執行誤差)

• 故意的(測試檢測方法的假異常值)

• 資料處理錯誤(資料處理或資料設定意外突變)

• 抽樣錯誤(提取或混合來自錯誤或不同來源的資料)

• 自然(不是錯誤，資料中的新奇)

  在製作，收集，處理和分析資料的過程中，異常值可以來自許多來源，並在許多方面隱藏起來， 那些不是錯誤的產物被稱為新奇。

  檢測異常值對於幾乎任何定量學科都是至關重要的（即：物理，經濟，金融，機器學習，網路安全）。 在機器學習和任何定量學科中，資料質量與預測或分類的模型一樣重要。

當試圖在資料集中檢測離群值時，記住上下文並嘗試回答這個問題非常重要:“為什麼我要檢測離群值?你的發現的意義將由上下文決定。

  此外，當開始一個離群的檢測任務時，你必須回答關於你的資料集的兩個重要問題:此外，當開始一個離群的檢測任務時，你必須回答關於你的資料集的兩個重要問題:

• 我要考慮哪些特徵來檢測離群值?(單變數或多變數)我要考慮哪些特徵來檢測離群值?(單變數或多變數)
• 我可以為我選擇的特性假設一個值的分佈嗎?(引數/非引數)

一些最流行的離群檢測方法是:

• z分數(Z-Score )或極值分析(引數)

• 概率和統計建模(引數)

• 線性迴歸模型(PCA,LMS)

• 基於鄰近模型(非引數)

• 資訊理論模型

• 高維離群檢測方法(高維稀疏資料)

Z-Score

  一個觀測的z分數或標準分數是一個度量，表示一個數據點偏離樣本均值的多少個標準差，假設一個高斯分佈。這使得z分數是一個引數化的方法。非常頻繁的資料點並不是由高斯分佈描述的，這個問題可以通過將轉換應用於資料，比如：縮放它來解決。

  一些Python庫，如Scipy和scikit學習，可以很容易地使用函式和類利用Pandas和Numpy輕鬆實現。在對資料集的選定特徵空間進行適當的轉換之後，任何資料點的z分數都可以用以下表達式計算：

當計算資料的每個樣本的z分數時，必須指定一個閾值。一些好的“thumb-rule”閾值可以是:2.5、3、3.5或更高的標準差。

通過“標記”或刪除超出給定閾值的資料點，我們將資料分類為異常值，和非異常值。

z - score是一種簡單但強大的方法，如果你處理的是一個低維度特徵空間的引數分佈，就可以擺脫資料中的異常值。對於非引數問題，Dbscan和Isolation Forests是很好的解決方案。

Dbscan

  機器學習和資料分析聚類方法是幫助我們更好地視覺化和理解資料的有用工具。資料集中的特性、趨勢和種群之間的關係可以通過像dbscan這樣的聚類方法來表示，也可以應用於許多維度上的非引數分佈中的異常值。
  Dbscan(Density Based Spatial Clustering of Applications with Noise)是基於密度的聚類演算法,重點是發現鄰居的密度(MinPts)在n維球體的半徑ɛ。
叢集可以被定義為特徵空間中“密度連線點”的最大集合。

Dbscan定義不同型別的點:

• 核心點：A是一個核心的區域(ɛ所定義的)包含至少比引數MinPts同樣多或更多的點。

• 邊界點：C是一個位於叢集中的邊界點，它的鄰域並不包含比MinPts更多的點，但它仍然是叢集中其他點的“密度可達”。

• 離群點：N是一個離群點，在沒有叢集的情況下，它不是“密度可達”或“密度連線”到任何其他點。因此，這一點將有“他自己的叢集”。

• 

  如果A是一個核心點，它就會形成一個叢集，所有的點都可以從中得到。通過P可獲得點P如果有一個路徑p1,…,pn與p1=p和pn=q,其中每個pi+1是直接可以從p (所有路徑上的點必須核心點,可能q除外)。

  可達性是一種非對稱的關係，從定義上說，無論距離如何，都不能從非核心點到達任何點(因此，非核心點可能是可到達的，但它達不到任何點)。因此，需要進一步的連線概念來正式定義該演算法所發現的叢集的範圍。

兩個點p和q是密度連線的，如果有一個點o，那麼p和q都是密度可達的。密度-連線度是對稱的。

一個叢集滿足兩個屬性:

• 叢集中的所有點都是相互關聯的。

• 如果某個點從叢集的任何一點處都可以到達，那麼它也是叢集的一部分。

  scikit-learn有利用pandas實現的dbscan離群檢測模型。
  第一步是縮放資料,從半徑ɛ隨著MinPts定義鄰域。(提示:對於手邊的問題，一個好的scaler可以是scikit-learn的 Robust Scaler)。

  在擴充套件特性空間之後，是時候選擇dbscan執行叢集的空間度量了。必須根據問題選擇度量，歐幾里得距離在二維或三維空間中工作得很好，在處理高維空間4或更多維度時，曼哈頓度距離也很有用。然後,根據聚類選擇相應的引數eps(ɛ)。如果ɛ太大了許多點密度連線,如果太小聚類將導致許多無意義的叢集。一個好的方法是嘗試從0.25到0.75不等的值。

  Dbscan對MinPts引數也很敏感，它將完全依賴於手動調整的問題。dbscan的複雜度為O(n log n)，它是一種具有中等大小的資料集的有效方法。當使用Scikit-learn的實現時，向模型提供資料是很容易的。在將dbscan安裝到資料叢集之後，可以提取並將每個樣本分配給一個叢集。Dbscan自己估計叢集的數量，沒有必要指定所需叢集的數量，它是一個無監督機器學習模型。

異常值(噪聲)將被分配給- 1叢集。在標記這些例項之後，它們可以被刪除或分析。

Real world application of DBSCAN in housing prices (red:normal, black: outliers)

Isolation Forests

  最後，Isolation Forests是檢測資料中的異常值或新奇事物的有效方法，它基於二叉決策樹。scikit-learn的實現相對簡單易懂。

  Isolation Forests的基本原則是，離群值很少，而且遠離其他觀測值。為了構建樹(訓練)，該演算法從特徵空間隨機抽取一個特徵，並在最大值和最小值之間隨機選擇一個分割值。這是為訓練集的所有觀察值而制定的。為了建造森林，一棵樹的集合是使森林裡的所有樹木都平均。然後，對於預測，它將觀察值與“節點”中拆分值對比，該節點將有兩個子節點，然後進行另一個隨機比較。一個例項的演算法所產生的“splittings”的數量被命名為:“路徑長度”。正如預期的那樣，離群值將比其他觀測值的路徑長度更長。
每個觀測值可以計算出一個離群值:

  其中h(x)為樣本x的路徑長度，c(n)為二叉樹的“不成功的長度搜索”(從根到外節點的二叉樹的最大路徑長度)n為外部節點數。在給每個觀察值打分（得分從0到1不等）後，1代表更多的“孤立”和“0”意味著更正常。可以指定一個閾值，比如0.55或0.60。

提示:在scikit- learn的庫中，分數移位了0.5和1，所以它返回 - 0.5到0.5的值，越大越正常，越小的越不正常。

總結（Conclusions）

Z-Score 優點

• 如果你可以用高斯分佈來描述特徵空間中的值，這是一種非常有效的方法。(引數)

• 使用pandas和scipy等庫可以很容易實現。

Z-Score 缺點

• 在一個小到中等大小的資料集中，只有在低維的特徵空間中使用。

• 當分佈不能被假定為引數時，不建議使用。

Dbscan 優點

• 當特徵空間中的值分佈不是假設的時，這是一種非常有效的方法。

• 如果搜尋異常值的特徵空間是多維的(比如：3或更多的維度)，則可以很好地工作。

• 用Scikit learn實現簡單，且文件很棒

• 視覺化結果很簡單，方法本身也很直觀。

Dbscan 缺點

• 特徵空間中的值需要相應地伸縮。

• 選擇最優引數eps,MinPts和度規可能很困難，因為它對任何三個引數都非常敏感。

• 它是一個無監督的模型，需要在每次分析新的資料時重新校準。

• 它可以預測一次校準，但強烈不推薦。

Isolation Forest 優點

• 在特性空間中不需要縮放值。

• 當值分佈不能被假設時，它是一種有效的方法。

• 它具有很少的引數，這使得該方法相當健壯且易於優化。

• scikit- learn的實現很容易使用，而且文件非常出色。

Isolation Forest缺點

• Python實現僅存在於Sklearn的開發版本中。

• 視覺化的結果是複雜的。

• 如果沒有正確的優化，訓練時間可以很長，計算費用也很昂貴。

如有不當之處，請留言！