2. 程式人生 > >特徵選擇之支援向量機遞迴特徵消除（SVM-RFE）

特徵選擇之支援向量機遞迴特徵消除（SVM-RFE）

阿新 • • 發佈：2019-02-11

支援向量機遞迴特徵消除(下文簡稱SVM-RFE)是由Guyon等人在對癌症分類時提出來的，最初只能對兩類資料進行特徵提取。它是一種基於Embedded方法。

支援向量機

支援向量機廣泛用於模式識別，機器學習等領域，SVM採用結構風險最小化原則，同時最小化經驗誤差，以此提高學習的效能。詳細的SVM介紹請看我的另一篇博文《 線性支援向量機》

在這簡單介紹一下SVM。
設訓練集{(xi,yi)}Ni=1，其中xi∈RD,yi∈{+1,−1}，xi為第i個樣本，N為樣本量，D為樣本特徵數。SVM尋找最優的分類超平面ω⋅x+b=0。
SVM需要求解的優化問題為：

min12||ω||2+C
ΣNi=1ξis.t.yi(ω⋅xi+b)≥1−ξi,i=1,2,...,Nξi≥0,i=1,2,...,N

而原始問題可以轉化為對偶問題：

min12ΣNi=1ΣNj=1αiαjyiyj(xi⋅xj)−ΣNi=1αis.t.ΣNi=1yiαi=00≤αi≤C,i=1,2,...,N
其中，αi為拉格朗日乘子。
最後ω的解為：
ω=ΣNi=1αiyixi

兩分類的SVM-RFE演算法

SVM-RFE是一個基於SVM的最大間隔原理的序列後向選擇演算法。它通過模型訓練樣本，然後對每個特徵進行得分進行排序，去掉最小特徵得分的特徵，然後用剩餘的特徵再次訓練模型，進行下一次迭代，最後選出需要的特徵數。而特徵i

的排序準則得分定義為：

ci=w2i
兩分類SVM-RFE演算法：
輸入：訓練樣本{(xi,yi)}Ni=1,yi∈{+1,−1}
輸出：特徵排序集R
1)初始化原始特徵集合S={1，2，…,D}，特徵排序集R=[]
2)迴圈以下過程直至S=[]
獲取帶候選特徵集合的訓練樣本；
用式min12ΣNi=1ΣNj=1αiαjyiyj(xi⋅xj)−ΣNi=1αi訓練SVM分類器，得到ω；
用式ci=w2i,k=1,2,...,|S|計算排序準則得分;
找出排序得分最小的特徵p=argminkck;
更新特徵集R=[p,R]；
在S中去除此特徵：S=S/p。

多分類的SVM-RFE演算法

多分類的SVM-RFE演算法其實和兩分類的SVM-RFE演算法類似，只不過在處理多分類時，把類別進行兩兩配對，其中一類為正類，另一類為負類，這樣需訓練N(N−1)2個分類器，這就是一對一（One vs. One,簡稱OvO）的多分類拆分策略（詳細請看周志華的《機器學習》的第三章線性模型的多分類學習），這樣就變成了多個兩分類問題（當然，也可以使用一對其餘（OvR）），每個兩類問題用一個SVM-RFE進行特徵選擇，利用多個SVM-RFE獲得多個排序準則得分，然後把多個排序

相關推薦

特徵選擇之支援向量機遞迴特徵消除（SVM-RFE）

支援向量機遞迴特徵消除(下文簡稱SVM-RFE)是由Guyon等人在對癌症分類時提出來的，最初只能對兩類資料進行特徵提取。它是一種基於Embedded方法。 支援向量機 支援向量機廣泛用於模式識別，機器學習等領域，SVM採用結構風險最小化原則，同時最小化

支援向量機數學證明與推導（SVM）

支援向量機（SVM） @(資料探勘)[svm] 一、線性可分支援向量機和硬間隔最大化 名詞解釋 線性可分：就是指給定一組資料集T={(x1,y1),(x2,y2),⋯,(x

機器學習之支援向量機（四）

引言： 　　SVM是一種常見的分類器，在很長一段時間起到了統治地位。而目前來講SVM依然是一種非常好用的分類器，在處理少量資料的時候有非常出色的表現。SVM是一個非常常見的分類器，在真正瞭解他的原理之前我們多多少少都有接觸過他。本文將會詳細的介紹SVM的原理、目標以及計算過程和演算法步驟。我們針對線性可分資

[四]機器學習之支援向量機SVM

4.1 實驗資料 本資料集來源於UCI的Adult資料集，並對其進行處理得到的。資料集下載地址：http://archive.ics.uci.edu/ml/datasets/Adult。本實驗使用LIBSVM包對該資料進行分類。 原始資料集每條資料有14個特徵，分別為age,workc

機器學習筆記之支援向量機

目的：給定二分類樣本集，想要找一個分離超平面。（魯棒性最好）其基本模型定義為特徵空間上的間隔最大的線性分類器，其學習策略便是間隔最大化，最終可轉化為一個凸二次規劃問題的求解。 分析：超平面可以由以下方程確定 b為超平面和原點之間的距離，wT決定超平面的方向。樣

機器學習之支援向量機(Support Vector Machines)

支援向量機(Support Vector Machines, SVM)是一種二分類模型，其基本模型是定義在特徵空間上的間隔最大的線性分類器。支援向量機的學習策略就是間隔最大化。 間隔最大化的直觀解釋是：對訓練資料集找到幾何間隔最大的超平面意味著以充分大的卻確信度對訓練資料進

Spark中元件Mllib的學習28之支援向量機SVM-方法1

支援向量機(Support Vector Machine，SVM)是Corinna Cortes和Vapnik等於1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，並能夠推廣應用到函式擬合等其他機器學習問題中。 SVM的

cs229學習筆記之支援向量機

函式距離和幾何距離 設特徵和類標籤分別為x,y∈{−1,1}，定義分類器hw,b(x)=g(wTx+b)，g(z)={1−1z≥0z<0 函式距離 給定訓練樣本(x(i),y(i))，則函式距離r^(i)=y(i)(wTx(i)+b) 如果y(

機器學習之支援向量機SVM Support Vector Machine (五) scikit-learn演算法庫

一、scikit-learn SVM演算法庫概述         scikit-learn中SVM的演算法庫分為兩類，一類是分類演算法庫，包括SVC、 NuSVC和LinearSVC三個類。另一類是迴歸演算法庫，包括SVR、NuSVR和LinearSVR三個類。相關的

機器學習之支援向量機SVM及程式碼示例

一、線性可分SVM SVM演算法最初是用來處理二分類問題的，是一種有監督學習的分類演算法。 對於線性可分的二分類問題，我們可以找到無窮多個超平面，將兩類樣本進行區分。(超平面：一維中是一個點；二維中是一條線；三維中是一個面……) 在上面的多個超平面中，

分類演算法 之 支援向量機--原理+案例+程式碼

分類演算法 之 支援向量機–原理+案例+程式碼 標籤（空格分隔）： SPARK機器學習 1. 支援向量機的概述 1.1 解決問題的型別 支援向量機（SVM:support vactor machine)用於解決： （1）分類問題。最初解決了

資料探勘---分類演算法之支援向量機SVM

           這篇來說說支援向量機，說實在的，這個是我的最愛，一直比較看好這個演算法，而且也是花了不少時間在這個上面，下面一起來複習下。同上篇，下面摘自本人的畢業設計論文中，後面給出參考文獻。            基於統計學習理論的支援向量機演算法是現代智慧技術

機器學習之支援向量機迴歸（機器學習技法）

核函式山脊迴歸Represent Theorem表達理論就是指如果一個模型是帶有L2正則化的線性模型，那麼它在最佳化的時候的權重引數值W*將能夠用Z空間的資料的線性組合來表示。它的推論就是L2的正則化線性模型能夠核函式化如下圖所示：現在我們的目標就是用核函式的方式去解決迴歸問

機器學習之支援向量機： Support Vector Machines (SVM)

機器學習之支援向量機： Support Vector Machines (SVM) 歡迎訪問人工智慧研究網 課程中心 理解支援向量機（Understanding SVM） 使用支援向量機（Using SVM） 使用高斯核(Gaussian Kern

機器學習之支援向量機演算法例項

此例項是利用svm演算法預測乳腺癌腫瘤是良性還是惡性，資料格式如下圖所示：第一列表示編號，2到10列表示資料屬性，第11列表示腫瘤標籤2表示良性4表示惡性。 程式碼如下 from sklearn import svm # x = [[2, 0], [1, 1], [

機器學習之支援向量機SVM Support Vector Machine (六) 高斯核調參

        在支援向量機（以下簡稱SVM）的核函式中，高斯核（以下簡稱RBF）是最常用的，理論上 RBF一定不比線性核函式差，但是在實際應用中，卻面臨幾個重要超引數的調優問題。如果調的不好，可能比線性核函式還要差。所以實際應用中，能用線性核函式得到較好效果的都會選擇

機器學習之支援向量機原理和sklearn實踐

1. 場景描述 問題:如何對對下圖的線性可分資料集和線性不可分資料集進行分類？ 思路: (1)對線性可分資料集找到最優分割超平面 (2)將線性不可分資料集通過某種方法轉換為線性可分資料集 下面將帶著這兩個問題對支援向量機相關問題進行總結 2. 如何找到最優分割超平面 一般地，當訓練資料集線性可分時，存

機器學習之支援向量機演算法(一)

一、問題引入 　　支援向量機(SVM，Support Vector Machine)在2012年前還是很牛逼的，但是在12年之後神經網路更牛逼些，但是由於應用場景以及應用演算法的不同，我們還是很有必要了解SVM的，而且在面試的過程中SVM一般都會問到。支援向量機是一個非常經典且高效的分類模型。我們的目標：基

機器學習之支援向量機演算法(二)

五、SVM求解例項 　　上面其實已經得出最終的表示式了，下面我們會根據一些具體的點來求解α的值。資料：3個點，其中正例 X1(3,3) ，X2(4,3) ，負例X3(1,1) 如下圖所示 　　　 　　我們需要求解下式的極小值 　　　 　　注意約束條件（在這裡不要忘記了yi代表的是資料

支援向量機—SMO論文詳解（序列最小最優化演算法）

SVM的學習演算法可以歸結為凸二次規劃問題。這樣的凸二次規劃問題具有全域性最優解，並且許多最優化演算法可以用來求解，但是當訓練樣本容量很大時，這些演算法往往變得非常低效，以致無法使用。論文《Sequential Minimal Optimization：A Fast Algori