最近在看Python中機器學習之特徵選擇，為了避免遺忘，特記一波。

Removing features with low variance，即低方差過濾特徵選擇。其原理也是比較簡單，計算樣本中每一個特徵值所對應的方差，如果低於閾值，則進行過濾（剔除）。預設情況下，將會剔除所有零方差特徵，方差為0表示樣本的特徵取值沒發生變化。

假設我們有一個特徵是由0和1組成的資料集，利用Removing features with low variance方法移除那些在整個資料集中特徵值為0或者為1的比例超過p（同一類樣本所佔的比例）的特徵。0 1 組成的資料集滿足伯努利（ Bernoulli ）分佈，因此其特徵變數的方差為：p(1-p)。

在Removing features with low variance方法中，將剔除方差低於p(1-p)的特徵。在Pyhon的sklearn模組中，具有該方法的實現，具體使用如下。

from sklearn.feature_selection import VarianceThreshold #匯入python的相關模組
X=[[0,0,1],[0,1,0],[1,0,0],[0,1,1],[0,1,0],[0,1,1]]#其中包含6個樣本，每個樣本包含3個特徵。
sel=VarianceThreshold(threshold=(0.8*(1-0.8)))#表示剔除特徵的方差大於閾值的特徵Removing features with low variance
 

sel.fit_transform(X)#返回的結果為選擇的特徵矩陣

print(sel.fit_transform(X))#

輸出結果為：

發現剔除的是第一個特徵，保留的是後2個特徵。從第一列特徵可以看出。1的個數為1個，0為5個，0的比例為5/6，超過了0.8,且5/36<4/25(閾值).因此將此特徵剔除，形成新的特徵矩陣。