前言

隨機森林是以決策樹為基學習器的整合學習演算法。隨機森林非常簡單，易於實現，計算開銷也很小，更令人驚奇的是它在分類和迴歸上表現出了十分驚人的效能，因此，隨機森林也被譽為“代表整合學習技術水平的方法”。
本文是對隨機森林如何用在特徵選擇上做一個簡單的介紹。

隨機森林（RF）簡介

只要瞭解決策樹的演算法，那麼隨機森林是相當容易理解的。隨機森林的演算法可以用如下幾個步驟概括：

用有抽樣放回的方法（bootstrap）從樣本集中選取n個樣本作為一個訓練集
用抽樣得到的樣本集生成一棵決策樹。在生成的每一個結點：
- 隨機不重複地選擇d個特徵
- 利用這d個特徵分別對樣本集進行劃分，找到最佳的劃分特徵（可用基尼係數、增益率或者資訊增益判別）
重複步驟1到步驟2共k次，k即為隨機森林中決策樹的個數。
用訓練得到的隨機森林對測試樣本進行預測，並用票選法決定預測的結果。

下圖比較直觀地展示了隨機森林演算法（圖片出自文獻2）：

圖1：隨機森林演算法示意圖
沒錯，就是這個到處都是隨機取值的演算法，在分類和迴歸上有著極佳的效果，是不是覺得強的沒法解釋~
然而本文的重點不是這個，而是接下來的特徵重要性評估。

特徵重要性評估

現實情況下，一個數據集中往往有成百上前個特徵，如何在其中選擇比結果影響最大的那幾個特徵，以此來縮減建立模型時的特徵數是我們比較關心的問題。這樣的方法其實很多，比如主成分分析，lasso等等。不過，這裡我們要介紹的是用隨機森林來對進行特徵篩選。
用隨機森林進行特徵重要性評估的思想其實很簡單，說白了就是看看每個特徵在隨機森林中的每顆樹上做了多大的貢獻，然後取個平均值，最後比一比特徵之間的貢獻大小。
好了，那麼這個貢獻是怎麼一個說法呢？通常可以用基尼指數（Gini index）或者袋外資料（OOB）錯誤率作為評價指標來衡量。
我們這裡只介紹用基尼指數來評價的方法，想了解另一種方法的可以參考文獻2。
我們將變數重要性評分（variable importance measures）用 $V I M$

V I M

來表示，將Gini指數用

G I

來表示，假設有

m

個特徵

X_{1} ， X_{2} ， X_{3} ， . . . ， X_{c}

，現在要計算出每個特徵

X_{j}

的Gini指數評分

V I M_{j}^{(G i n i)}

，亦即第

j

個特徵在RF所有決策樹中節點分裂不純度的平均改變數。
Gini指數的計算公式為

G I_{m} = \sum_{k = 1}^{| K |} \sum_{k^{'} \neq k} p_{m k} p_{m k^{'}} = 1 - \sum_{k = 1}^{| K |} p_{m k}^{2}

其中，

K

表示有

K

個類別，

p_{m k}

表示節點

m

中類別

k

所佔的比例。
直觀地說，就是隨便從節點

m

中隨機抽取兩個樣本，其類別標記不一致的概率。
特徵

X_{j}

在節點

m

的重要性，即節點

m

分枝前後的

G i n i

指數變化量為

V I M_{j m}^{(G i n i)} = G I_{m} - G I_{l} - G I_{r}

其中，

G I_{l}

和

G I_{r}

分別表示分枝後兩個新節點的

G i n i

指數。
如果，特徵

X_{j}

在決策樹

i

中出現的節點在集合

M

中，那麼

X_{j}

在第

i

顆樹的重要性為

V I M_{i j}^{(G i n i)} = \sum_{m \in M} V I M_{j m}^{(G i n i)}

假設

R F

中共有

n

顆樹，那麼

V I M_{j}^{(G i n i)} = \sum_{i = 1}^{n} V I M_{i j}^{(G i n i)}

利用隨機森林對特徵重要性進行評估

前言

隨機森林（RF）簡介

特徵重要性評估

利用隨機森林對特徵重要性進行評估

用xgboost模型對特徵重要性進行排序

Notes—Random Forest-feature importance隨機森林對特徵排序

利用隨機森林進行特徵選擇

利用隨機森林和梯度替身決策樹對titanic資料進行分類，並對結果進行分析

利用迴歸樹對Boston房價進行預測，並對結果進行評估

【C++】利用建構函式對類物件進行初始化

利用隨機森林、GBDT、xgboost、LightGBM計算準確率和auc

【自然語言處理入門】03：利用線性迴歸對資料集進行分析預測（下）

【自然語言處理入門】03：利用線性迴歸對資料集進行分析預測（上）

mahout入門之對推薦結果進行評估

IE瀏覽器利用ActiveXObject物件對檔案系統進行操作

利用R語言對RNA-Seq進行探索分析與差異表達分析

Linux中利用logrotate來對log檔案進行轉儲

SpringMVC中利用@InitBinder來對頁面資料進行解析繫結

51微控制器利用IIC匯流排對LM75A溫度進行讀取

使用PCA對特徵資料進行降維

利用建構函式對類物件進行初始化

利用mysqltuner工具對mysql資料庫進行優化

利用Data Vault對資料倉庫進行建模（二）