SVM核函式的分類
1、經常使用的核函式
核函式的定義並不困難,根據泛函的有關理論,只要一種函式 K( xi, xj) 滿足Mercer條件,它就對應某一變換空間的內積.對於判斷哪些函式是核函式到目前為止也取得了重要的突破,得到Mercer定理和以下常用的核函式型別:
(1)線性核函式
K( x, xi) = x ⋅ xi
(2)多項式核
K( x, xi) = (( x⋅ xi) + 1 )d
(3)徑向基核(RBF)
K( x, xi) = exp ( − ∥x− xi∥2σ2)
Gauss徑向基函式則是區域性性強的核函式,其外推能力隨著引數 σ的增大而減弱。多項式形式的核函式具有良好的全域性性質。區域性性較差。
(4)傅立葉核
K( x, xi) = 1− q22( 1− 2q cos( x− xi) + q2)
(5)樣條核
K( x, xi) = B2n +1 (x −xi)
(6)Sigmoid核函式
K( x, xi) = tanh ( κ ( x , xi) − δ )
採用Sigmoid函式作為核函式時,支援向量機實現的就是一種多層感知器神經網路,應用SVM方法,隱含層節點數目(它確定神經網路的結構)、隱含層節點對輸入節點的權值都是在設計(訓練)的過程中自動確定的。而且支援向量機的理論基礎決定了它最終求得的是全域性最優值而不是區域性最小值,也保證了它對於未知樣本的良好泛化能力而不會出現過學習現象。
2、核函式的選擇
在選取核函式解決實際問題時,通常採用的方法有:一是利用專家的先驗知識預先選定核函式;二是採用Cross-Validation方法,即在進行核函式選取時,分別試用不同的核函式,歸納誤差最小的核函式就是最好的核函式.如針對傅立葉核、RBF核,結合訊號處理問題中的函式迴歸問題,通過模擬實驗,對比分析了在相同資料條件下,採用傅立葉核的SVM要比採用RBF核
的SVM誤差小很多.三是採用由Smits等人提出的混合核函式方法,該方法較之前兩者是目前選取核函式的主流方法,也是關於如何構造核函式的又一開創性的工作.將不同的核函式結合起來後會有更好的特性,這是混合核函式方法的基本思想.
對於核函式的理解,pluskid的部落格