模式識別總結 下
上一篇複習了模式識別中的有監督學習部分，本文著重分析無監督學習部分。
第一部分：非線性分類器
這裡主要分為四部分，列舉後分別進行分析學習：
- 非線性支援向量機
- 多層神經網路
- RBF網路
模板匹配（相關法）
非線性支援向量機
廣義線性判別
概念：在樣本分類中，只要各類別之間沒有重疊，可以通過對映變換，將樣本對映為線性可分樣本。 比如利用0-n階多項式線性組合構造分類器
缺點：經過這種變換，維數大大增加，形成“維數災難”，另一方面，由於樣本數並未增加，在高維空間很稀疏，有可能造成病態矩陣。非線性支援向量機
步驟：- 通過變換投影，使其在其它空間線性可分
- 利用SVM確定最優分類面
本質：將原輸入空間的特徵X進行非線性變換，構成新特徵空間。在利用拉格朗日約束條件轉換求解決策函式（即最優超平面）。
結論：無論非線性變換形式如何，變換對支援向量機的影響是把兩個樣本在原特徵空間的內積變成成新空間的內積。這樣做的好處是不增加計算複雜度，並避免了高維空間的計算。
並且，只要知道了核函式，不需要知道具體非線性變換，利用Mercer條件可以找到常用的核函式。不同的核函式可以看做選擇不同的相似度衡量。
多層神經網路
簡單的神經元模型分析
引入啟用函式，單層神經網路著重強調屬於哪一邊分類問題
簡單的神經元模型是人工神經網路的基礎，僅為線性分類器，不能解決XOR問題多層神經網路
梯度下降法： 以訓練樣本錯分程度為目標函式，修改權係數（負梯度方向），直至目標函式取得最小值。
反向傳播演算法： 傳統神經網路輸出的誤差只能對最後一個神經元的權係數求梯度，無法訓練其他神經元的權值，因此引入反向傳播演算法（BP）。
結構：輸入層-隱含層-輸出層。具體包括層數K、每層節點數、權係數、啟用函式f
分析： 通過計算梯度來考查各個引數對網路輸出的影響（正向），通過梯度下降調整各個引數（反向）
具體步驟：- 權係數初始化
- 確定訓練樣本的輸入和期望輸出
- 計算x輸入時的實際輸出
- 從輸出層反向調整權值。其中對輸出層，s為當前神經系統實際輸出與期望輸出之差對權值的導數；對中間層，s為輸出誤差反向傳播到該層的誤差與該神經元的權值的導數。
缺點： 有可能顯然區域性最小點。收斂結果受初始權值影響大，受步長u的影響（通過加動量項改進）
學習方法：批量學習，線上學習
RBF網路
三要素：基函式、隱層節點數目、權係數
隱層節點數目等於樣本數時為正則網路，常用的徑向基函式有三種。
當上述構成的徑向基函式矩陣為非奇異矩陣時，正則化網路係數存在且唯一。
第二部分：聚類
1. K均值聚類
步驟：未知類中心，採用K均值聚類法，按最小距離原則不停迭代更新類中心並分類。
缺點：K均值不能保證收斂到全域性最優解。
改進:K均值只有當類內樣本的分佈為超球狀或者接近超球狀（即各維特徵樣本方差接近時）才有較好效果。如果樣本資料分佈不具有各項同性，分類前應該先對樣本進行相似度衡量（即變換距離測度），然後進行K均值聚類。
2. 模糊均值聚類
分析：引入隸屬度函式f（x）,範圍是[0,1]，表示屬於某一類程度的函式。模糊聚類，用哪個隸屬度函式定義的聚類加權距離準則。
其中模糊C均值法要求一個樣本對於各個聚類的隸屬度和1.此時利用拉格朗日運算元求代價函式最小值，交替迭代梯度求解得到隸屬度和類中心，直至類中心穩定。
改進：由於模糊C均值引入了歸一化條件（隸屬度和1），在樣本不理想的情況下，可能導致效果並不好。
第三部分：特徵選擇與處理
該部分主要包括四個小節：
- 線性變換與統計特徵
- 特徵選擇
- 特徵處理
- KL變換
具體闡述之。
線性變換與統計特徵
線性變換：有線長度的離散變換，傅立葉變換，小波變換，Hough變換
統計特徵：統計法，分佈函式，特徵函式，矩特徵，累積量特徵，多元變數特徵特徵選擇
原則：選取的特徵要體現差異（顯著性）、特徵之間相互獨立（獨立性）
顯著性如何評判？散度，散佈矩陣等
方法：最優演算法（分枝定界法）、次優演算法等。特徵處理
目標：降低特徵空間維數；去除相關性- 主分量分析PCA
原有特徵按重要性從大到小排列，選取M個大特徵值對應分量，去除其他分量，降低特徵空間維數。
正交變換矩陣使新特徵方差達到極值，方差越大，樣本的特徵差異越大。 - 核主成分分析KPCA
對樣本進行非線性變換，通過在變換空間進行主成分分析實現原空間的非線性主成分分析。具體步驟：
- 計算核函式，計算矩陣K
- 解矩陣K的特徵方程
- 計算樣本在非線性主成分的投影
- 獨立分量分析ICA
- 主分量分析PCA
KL變換
能夠考慮不同的分類資訊，實現監督分類的特徵提取。