1. 程式人生 > >SVM的升維解決線性不可分

SVM的升維解決線性不可分

很多的情況下樣本是線性不可分的,這時可以通過升維的方法來解決。

假設在數軸上給出一些資料,其中[-2,2]區間內的點被標記為分類1,其餘的被標記為分類0,這時用一個分段函式是不能順利的分類的,這時可以構造一個函式,讓其在[-2,2]的區間內這個函式大於0,而其他的部分小於0,例如:

f(x)={10x2+4>0x2+40

y=x2+4的圖形如下:
這裡寫圖片描述

這實際上是y=x2+4這個函式在y=0(x)這條直線上的投影,也即是二維的投影可以順利分類一維上的不可分的樣本。

同樣有二維空間中的如果樣本向量v距離原點(0,0)的距離為1以內分類被標記為0,其餘都是1,同樣是在二維的情況下是線性不可分得,此時可以構造一個這樣的函式:

f(x,y)={10x2+y21x2+y2<1
即,z=x2+y2,此時通過三維到二維的對映可以分類二維上的不可分。

x2+y21的圖形如下:
這裡寫圖片描述

可以看到,在一維空間上解決線性不可分問題是把函式對映到二維空間中,使得一維空間上的分類邊界是二維空間上的分類函式在一維空間上的投影;而二維空間上解決線性不可分問題是把函式對映到三維空間中,使得二維空間上的分類邊界是三維空間上的分類函式在一維空間上的投影,以此類推。

這個構造的過程SVM有通用的方法可以解決,就是使用核函式進行構造。幾個常用的核函式如線性核函式、多項式核函式、徑向基核函式、高斯核函式等。

核函式的目的很明確:就是在當前維度空間中的樣本線性不可分的就一律對映到高維中去,在高維空間中找到超平面,得到超平面方程。而在更高維的超平面上的方程實際上並沒有增加更多的維度變數。例如,在研究二維空間上的向量分類問題時,經過核函式對映,最後得到的超平面變成了二維空間中的曲線(但同時也是三維空間中的一次方程)。