支援向量機SVM核函式的選擇(七)
支援向量機是建立在統計學習理論基礎之上的新一代機器學習演算法,支援向量機的優勢主要體現在解決線性不可分問題,它通過引入核函式,巧妙地解決了在高維空間中的內積運算,從而很好地解決了非線性分類問題。要構造出一個具有良好效能的SVM,核函式的選擇是關鍵也是最重要的一步.通常來講核函式的選擇包括兩部分工作:一是核函式型別的選擇,二是確定核函式型別後相關引數的選擇。如何根據具體的資料選擇恰當的核函式是SVM應用領域遇到的一個重大難題,也成為科研工作者所關注的焦點,但是目前還沒有具體的理論或方法來指導核函式的選取。下面我把我們常用的核函式列出來
1、經常使用的核函式
核函式的定義並不困難,根據泛函的有關理論,只要一種函式K
(1)線性核函式
K(x,xi)=x⋅xi
(2)多項式核
K(x,xi)=((x⋅xi)+1)d
(3)徑向基核(RBF)
K(x,xi)=exp(−∥x−xi∥2σ2)
Gauss徑向基函式則是區域性性強的核函式,其外推能力隨著引數σ的增大而減弱。多項式形式的核函式具有良好的全域性性質。區域性性較差。
(4)傅立葉核
K(x,xi)=1−q22(1−2qcos(x−xi)+q2)
(5)樣條核
K(x,xi
(6)Sigmoid核函式
K(x,xi)=tanh(κ(x,xi)−δ)
採用Sigmoid函式作為核函式時,支援向量機實現的就是一種多層感知器神經網路,應用SVM方法,隱含層節點數目(它確定神經網路的結構)、隱含層節點對輸入節點的權值都是在設計(訓練)的過程中自動確定的。而且支援向量機的理論基礎決定了它最終求得的是全域性最優值而不是區域性最小值,也保證了它對於未知樣本的良好泛化能力而不會出現過學習現象。
2、核函式的選擇
在選取核函式解決實際問題時,通常採用的方法有:一是利用專家的先驗知識預先選定核函式;二是採用Cross-Validation方法,即在進行核函式選取時,分別試用不同的核函式,歸納誤差最小的核函式就是最好的核函式.如針對傅立葉核、RBF核,結合訊號處理問題中的函式迴歸問題,通過模擬實驗,對比分析了在相同資料條件下,採用傅立葉核的SVM要比採用RBF核的SVM誤差小很多。
1). Linear核:主要用於線性可分的情形。引數少,速度快,對於一般資料,分類效果已經很理想了。
2). RBF核:主要用於線性不可分的情形。引數多,分類結果非常依賴於引數。有很多人是通過訓練資料的交叉驗證來尋找合適的引數,不過這個過程比較耗時。我個人的體會是:使用libsvm,預設引數,RBF核比Linear核效果稍差。通過進行大量引數的嘗試,一般能找到比linear核更好的效果。 但是應用最廣的應該就是RBF核了,無論是小樣本還是大樣本,高維還是低維等情況,RBF核函式均適用,它相比其他的函式有一下優點:
1)RBF核函式可以將一個樣本對映到一個更高維的空間,而且線性核函式是RBF的一個特例,也就是說如果考慮使用RBF,那麼就沒有必要考慮線性核函數了。
2)與多項式核函式相比,RBF需要確定的引數要少,核函式引數的多少直接影響函式的複雜程度。另外,當多項式的階數比較高時,核矩陣的元素值將趨於無窮大或無窮小,而RBF則在上,會減少數值的計算困難。
3)對於某些引數,RBF和sigmoid具有相似的效能。
相關推薦
支援向量機SVM核函式的選擇(七)
支援向量機是建立在統計學習理論基礎之上的新一代機器學習演算法,支援向量機的優勢主要體現在解決線性不可分問題,它通過引入核函式,巧妙地解決了在高維空間中的內積運算,從而很好地解決了非線性分類問題。要構造出一個具有良好效能的SVM,核函式的選擇是關鍵也是最重要的一步.通常來講
選擇支援向量機(SVM)核函式
SVM核函式通常有四種: 1. Linear 2. Polynomial 3. Gaussian (RBF) 4. Sigmoid/Logistic 不知為何,RBF最常用一般情況下,給定隨意的資料集,你不知道該用什麼樣的核函式,通常先用簡單的對映方式,然後再一步步的複雜化。如果資料集是線性可分的,用line
支援向量機SVM核函式分析
核函式描述和分析考慮在”迴歸和梯度下降“中“線性迴歸”中提出的問題,特徵是房子的面積x,這裡的x是實數,結果y是房子的價格。假設我們從樣本點的分佈中看到x和y符合3次曲線,那麼我們希望使用x的三次多項式來逼近這些樣本點。那麼首先需要將特徵x擴充套件到三維,然後尋找特徵和結果之
SVM支援向量機系列理論(三) 非線性支援向量機與核函式技巧
3.1 核技巧解決非線性SVM 3.1.1 非線性SVM解決思路 3.1.2 核技巧下SVM 3.2 Mercer核
詳解SVM系列(五):非線性支援向量機與核函式
對解線性分類問題,線性分類支援向量機是一種有效的方法。但是,有時分類問題是非線性的,這時可以使用非線性支援向量機。 核技巧 **非線性分類問題:**如上面左圖所示,能用 R
【機器學習演算法-python實現】svm支援向量機(3)—核函式
1.背景知識 前面我們提到的資料集都是線性可分的,這樣我們可以用SMO等方法找到支援向量的集合。然而當我們遇到線性不可分的資料集時候,是不是svm就不起作用了呢?這裡用到了一種方法叫做核函式,它將低
機器學習 --- 支援向量機的核函式
一、核函式方法的直觀理解 線性向量機地分類效果可能並不是很好,難以分類非線性的問題,這就將引入核函式。 例如在二維平面中,難以通過線性的方法來處理異或問題,但是通過將輸入變數經過核函式 對映到三維空間中,那麼如上圖所示的線性超平面可以完成分類。 線上性不
公開課機器學習筆記(13)支援向量機三 核函式
2.2、核函式Kernel 2.2.1、特徵空間的隱式對映:核函式 咱們首先給出核函式的來頭:在上文中,我們已經瞭解到了SVM處理線性可分的情況,而對於非線性的情況,SVM 的處理方法是選擇一個核函式 κ(⋅,⋅) ,通過將資料對映到高維空間,來解決在原始空
【機器學習】支援向量機(4)——非線性支援向量機(核函式)
前言 當訓練資料集線性可分或者近似線性可分時,前面我們在文一以及文二已經介紹了線性可分支援向量機和線性支援向量機。但是有時訓練資料集是非線性的,這時就可以使用非線性支援向量機。 非線性支援向量機的主要特點就是利用了核技巧。 非線性分類問題 如
機器學習----支援向量機(核函式)
#線性不可分 我們的SVM是找到一條分割直線,但是如果線性不可分怎麼辦?如下圖: 可以看出,是有一個明顯的分割線的,但是不是直線,這種情況下我們怎麼用SVM呢?我們可以找到一種變化,讓變換後的資料線性可分,用圖形象的表示為: 圖中的ϕ就是我們
支援向量機SVM(三):基於核函式的非線性SVM
前言 線性分類SVM是一種線性分類非常有效的方法,若分類問題是非線性,需要考慮對資料進行 空間變換,將非線性分類問題轉變為線性分類問題,使非線性SVM的學習轉變為線性SVM的學習。 若使用對映ϕ\phiϕ將例項從原空間X\mathcal XX(一般為歐式空
支援向量機SVM----學習筆記三(程式碼實踐一高斯核函式)
import numpy as np import matplotlib.pyplot as plt from sklearn import datasets from sklearn.preprocessing import StandardScaler from sklearn.svm import SV
機器學習——支援向量機SVM之核函式
1、在現實任務中,原始樣本空間也許不存在一個能正確劃分兩類樣本的超平面,雖然“軟間隔”概念的引入在一定程度上緩解了該問題,但是當樣本分佈的非線性程度很高的時候,“軟間隔”也無法解決這一問題 2、對於這類問題,SVM的處理方法是選擇一個核函式,其通過將資料對映到更高維
[白話解析] 深入淺出支援向量機(SVM)之核函式
[白話解析] 深入淺出支援向量機(SVM)之核函式 0x00 摘要 本文在少用數學公式的情況下,儘量僅依靠感性直覺的思考來講解支援向量機中的核函式概念,並且給大家虛構了一個水滸傳的例子來做進一步的通俗解釋。 0x01 問題 在學習核函式的時候,我一直有幾個很好奇的問題。 Why 為什麼線性可分很重要? Wh
斯坦福CS229機器學習筆記-Lecture8- SVM支援向量機 之核方法 + 軟間隔 + SMO 演算法
作者:teeyohuang 本文系原創,供交流學習使用,轉載請註明出處,謝謝 宣告:此係列博文根據斯坦福CS229課程,吳恩達主講 所寫,為本人自學筆記,寫成部落格分享出來 博文中部分圖片和公式都來源於CS229官方notes。
機器學習之支援向量機SVM Support Vector Machine (六) 高斯核調參
在支援向量機(以下簡稱SVM)的核函式中,高斯核(以下簡稱RBF)是最常用的,理論上 RBF一定不比線性核函式差,但是在實際應用中,卻面臨幾個重要超引數的調優問題。如果調的不好,可能比線性核函式還要差。所以實際應用中,能用線性核函式得到較好效果的都會選擇
SVM支援向量機中PCA函式的使用注意事項
使用SVM做一個圖片分類器,主要使用的技術是,各種特徵提取方法加上PCA主成分提取,最後用SVM進行圖片分類處理。 特徵提取這個東西還是比較簡單的,前人做的工作很多,原始碼也不少。主要採用的不變距、H
機器學習實戰(五)支援向量機SVM(Support Vector Machine)
目錄 0. 前言 1. 尋找最大間隔 2. 拉格朗日乘子法和KKT條件 3. 鬆弛變數 4. 帶鬆弛變數的拉格朗日乘子法和KKT條件 5. 序列最小優化SMO(Sequential Minimal Optimiz
吳恩達機器學習(第十三章)---支援向量機SVM
一、優化目標 邏輯迴歸中的代價函式: 畫出兩種情況下的函式影象可得: y=1: 我們找一條折線來近似表示這個函式影象 y=0: 我們用這兩條折線來近似表示原來的曲線函式可得新的代價函式(假設-log(h(x))為,-log(1
演算法學習——支援向量機SVM
SVM現在的公式推導很多,都是現成的,而且寫的也很好,我會提供相關資源,這篇博文主要從思想理解的方面做一個簡單介紹。 1、SVM 是如何工作的? 支援向量機的基礎概念可以通過一個簡單的例子來解釋。讓我們想象兩個類別:紅色和藍色,我們的資料有兩個特徵:x 和 y。我們想要一個分類器,給定一