SVM支援向量機系列理論(五)SVM中幾種核函式的對比
核函式可以代表輸入特徵之間特殊的相似性。
5.1 線性核
形式:
優點:
- 方案首選,奧卡姆剃刀定律
- 簡單,可以求解較快一個QP問題
- 可解釋性強:可以輕易知道哪些feature是重要的,
限制:只能解決線性可分問題
5.2 多項式核
形式:
含有三個引數 ,要注意 有範圍的限制才成為一個一般的核函式。
優點:
- 可解決非線性問題
- 可通過主觀設定Q來實現總結的預判
缺點:
對於大數量級的Q,不太適用,因為Q比較大時 會導致K趨向一個很大的數。 時,K趨向於0.
比較多的引數要選擇 ,比較困難
通常只用在已經大概知道一個比較小的Q的情況
5.3 高斯核
形式:
優點:
- 可以對映到無限維
- 決策邊界更為多樣
- 只有一個引數,相比多項式核容易選擇
缺點:
- 可解釋性差(無限多維的轉換,無法算w)
- 計算速度比較慢(解一個對偶問題)
- 容易過擬合(引數選不好時容易overfitting)