1. 程式人生 > >無監督學習在反欺詐中的應用

無監督學習在反欺詐中的應用

一.反欺詐幾種發展階段:

   1.黑名單,信譽庫和指紋裝置。這個很好理解,就是針對已有的出現過過信用的人進行標記,但是這種無法標記沒有信用記錄的人;

   2.規則規律。這個根據一些好的信用的人一些特性,或者一些黑名單的人進行標記統計,總結出一些規則,然後通過規則去過濾避免一些風險;

   3.有監督機器學習。有監督學習來做反欺詐,比較常見的就是做一個離群點檢測 or 異常值檢測,我們常用的離群點檢測方式就是knn,這種方式去判斷會造成一定量的誤傷;

   4.無監督機器學習。無監督機器學習應用最多的是聚類,聚類是根據未標註的資料機,在資料機內部根據資料特徵劃分為多個不同的類別,使類別哪的資料比較有較大的相似性,類別之間的資料關聯性較少,聚類在無監督學習的時候,主要看兩個特徵,一個是一致性,一個是關聯性;

 

二.無監督學習應用於反欺詐

   1.特徵工程,挑樣本中有用特徵的作為模型訓練的資料,會應用一些統計分析,自然語言處理,圖形分析等方法,把有用的特徵提取出來;

   2.聚類分析,首先要把特徵組裝成為一個向量, 對向量進入降維分析,減少高緯度的複雜度,第二個要對特徵做一個關聯性分析,定義它的距離函式;前面做完只會再去丟到聚類模型看結果,如果最終的結果不是特別理想,那麼重回上一步進一步做關聯性的分析;模型的調整都是不斷的迴圈做的;

   3.圖分析,從結果上看,也就是一個更高的維度去管慘小團體和小團體之間是不是有一定的分工或者相關性,換一個視角去了解模型的結果;

   4.結果的排序評分,主要依賴兩個評價指標,一個是群組的大小,第二個是群組的關聯性;群組的人多,那麼說明基數很高,評分相對來說也會比較高;關聯性說明,你的一些異常行為與組內比較一直時候,平衡度也會高;

 

業界中螞蟻信用就是一種反欺詐的應用案例,值得去深入瞭解一下。