Relief 特徵選擇演算法簡單介紹

　　Relief（Relevant Features）是著名的過濾式特徵選擇方法，Relief 為一系列演算法，它包括最早提出的 Relief 以及後來拓展的 Relief-F 和 RRelief-F ，其中最早提出的 Relief 針對的是二分類問題，RRelief-F 演算法可以解決多分類問題，RRelief-F 演算法針對的是目標屬性為連續值的迴歸問題。
　　

1、原始的 Relief 演算法

　　最早提出的 Relief 演算法主要針對二分類問題，該方法設計了一個“相關統計量”來度量特徵的重要性，該統計量是一個向量，向量的每個分量是對其中一個初始特徵的評價值，特徵子集的重要性就是子集中每個特徵所對應的相關統計量之和，因此可以看出，這個“相關統計量”也可以視為是每個特徵的“權值”。可以指定一個閾值 τ

，只需選擇比 τ 大的相關統計量對應的特徵值，也可以指定想要選擇的特徵個數 k，然後選擇相關統計量分量最大的 k 個特徵。
　　有了 Relief 的基本思想，那麼現在的問題就轉換成如何得到一種有效的權值或者相關統計量類對特徵進行度量，Relief 借用了“假設間隔”（hypothesismargin）的思想，我們知道在分類問題中，常常會採用決策面的思想來進行分類，“假設間隔”就是指在保持樣本分類不變的情況下，決策面能夠移動的最大距離，可以表示為：

θ=12(∥x−M(x)∥−∥x−H(x)∥)(1)
　　其中，M(x)、H(x) 指的是與 x 同類的和與 x 非同類的最近鄰點。

　　我們知道，當一個屬性對分類有利時，則該同類樣本在該屬性上的距離較近，而異類樣本在該屬性上的距離較遠，因此，若將假設間隔推廣到對屬性的評價中，則對應於公式（1）圓括號中的第一項越小，第二項越大，則該屬性對分類越有利。“假設間隔”能對各維度上的特徵的分類能力進行評價，從而就可以近似地估計出對分類最有用的特徵子集，Relief 正是利用了這個特性。
　　
　　假設訓練集 D

為 (x1,y1),(x2,y2),⋯,(xm,ym)，對每個樣本 xi，計算與 xi 同類別的最近鄰 xi,nh，稱為是“猜中近鄰”（near−heat），然後計算與 xi 非同類別的最近鄰 xi,nm，稱為是“猜錯近鄰”（near−miss），則屬性 j 對應的相關統計量為：

δj=∑i−diff(xji,xji,nh)2+diff(xji,xji,nm)2(2)
　　其中，xja 代表樣本 xa 在屬性 j 上的取值，diff(xja,xjb) 的計算取決於屬性 j 的型別：
　　對離散型屬性：
diff(xja,xjb)={0,1,xja=xjbotherwise
　　對連續型屬性：
d

iff(xja,xjb)=|xja−xjb|
　　注：xja，xjb已經規範化到 [0,1] 區間。
　　
　　從公式（2）中可以看出，若 xi 與其猜中近鄰 xi,nh 在屬性 j 上的距離小於 xi 與其非同類別的最近鄰 x

Relief 特徵選擇演算法簡單介紹

1、原始的 Relief 演算法

Relief 特徵選擇演算法簡單介紹

LVW（Las Vegas Wrapper）特徵選擇演算法簡單介紹

特徵選擇演算法--Relief與ReliefK

特徵選擇演算法-Relief（轉）

常用的特徵選擇演算法介紹

特徵選擇(2):mRMR特徵選擇演算法(matlab程式碼實現)

基於互資訊的特徵選擇演算法MATLAB實現

基於模因框架的包裝過濾特徵選擇演算法

特徵選擇演算法在微博業務應用中的演進歷程

特徵選擇演算法總結

SparkML中三種特徵選擇演算法（VectorSlicer/RFormula/ChiSqSelector）

神經網路之感知器演算法簡單介紹和MATLAB簡單實現

特徵提取演算法簡單學習筆記

mRMR特徵選擇演算法（feature_selection）的使用

[轉載]Scikit-learn介紹幾種常用的特徵選擇方法

特徵選擇——Matrix Projection演算法研究與實現

K-means聚類演算法原理簡單介紹

CSS選擇器和其優先順序的簡單介紹

特徵選擇mRMR演算法程式碼實現及安裝下載

資料結構與演算法-簡單選擇排序

Relief 特徵選擇演算法簡單介紹

1、原始的 Relief 演算法

相關推薦