1. 程式人生 > >特徵選擇的三種方法,後面會完善詳細的演算法

特徵選擇的三種方法,後面會完善詳細的演算法

特徵選擇方法大致分為三類:過濾式(filter)、包裹式(wrapper)和嵌入式(embedding)

過濾式:先對資料集進行特徵選擇,然後再訓練學習器,特徵選擇過程與後續學習過程無關,比較著名的是relief(relevant features)方法

包裹式:包裹式特徵選擇直接把最終將要使用的模型效能作為特徵子集的評價準則。因此他比過濾式選擇要好,但是因為在特徵選擇過程中要多次訓練學習器,因此開銷通常要比過濾式大得多,比較典型的是lvw法

嵌入式:嵌入式特徵選擇是將特徵選擇過程與學習器訓練過程融為一體,兩者在同一個過程中完成