機器學習筆記14-特徵選擇

為什麼要進行特徵選擇：（1）減輕維數災難的問題，這與降維的動機相似；（2）去除不相關的特徵會降低學習難度。
如何構建特徵選擇子集：（1）前向搜尋：逐個新增特徵；（2）後向搜尋：從所有特徵中逐個剔除特徵。
如何評價特徵選擇子集：資訊增益
常見的特徵選擇方法大致可分為三類：過濾式、包裹式、和嵌入式。
過濾式：先對資料集進行特徵選擇，然後再訓練學習器，特徵選擇過程與後續學習器無關。
包裹式：包裹式特徵選擇直接把最終將要使用的學習器的效能作為特徵子集的評價準則。換言之，包裹式特徵選擇的目的就是為了給定學習器選擇最有利於其效能、量身定做的特徵子集。
嵌入式：嵌入式特徵選擇是將特徵選擇過程與學習器訓練過程融為一體，兩者在一個優化過程中完成。比如正則化時，用 $L_{}$

1 L_1 正則化，它可以得到稀疏解
——————————————————————————————————————————————————————
壓縮感知
在現實任務中，我們常希望根據部分資訊來恢復全部資訊。假定有長度為m的離散訊號，以遠小於奈奎斯特取樣定理要求的取樣率進行取樣，得到長度為n的取樣後訊號y， $n\ll$

m n \ll m ，即 $y=\Phi x$。 $\mathrm{\Phi }$

∈ R n × n \Phi \in R^{n \times n} 是對訊號x的測量矩陣。在已知離散訊號x和測量矩陣 $\Phi$時要得到測量值y很容易。然而，若將測量值和測量矩陣傳輸出去，能否恢復原訊號？一般是不可能的，因為 $n \ll m$，方程是一個欠定方程，無法輕易求出數值解。
假設存在某個線性變換 $\psi$，使得 $x$可表示為 $\psi s$，於是 $y = \phi \psi s$。當 $s$具有稀疏性時，則可以恢復出 $x$。這時因為稀疏性使得未知因素的影響大大減小。此時 $\psi$為稀疏基，而 $\phi \psi$的作用相當於字典，能將訊號轉換為稀疏表示。
在很多應用中均可獲得具有稀疏性的 $s$，例如影象或聲音的數字訊號通常在時域上不具有稀疏性，但經過傅立葉變換、餘弦變換、小波變換等處理後會轉化為頻域上的稀疏訊號。
壓縮感知關注的是如何利用訊號本身所具有的稀疏性，從部分觀測樣本中恢復原訊號。壓縮感知分為感知測量和重構恢復兩個階段。感知測量關注原始訊號如何獲得稀疏樣本表示，包括傅立葉變換、字典學習、稀疏編碼等。重構恢復關注的是如何基於稀疏性從少量觀測中恢復原訊號，這是壓縮感知的精髓。

參考：
周志華《機器學習》