核函式詳解

這篇博文開始的例子就很好地揭示了核函式的簡單原理，寫得很好！

原地址：https://blog.csdn.net/zkq_1986/article/details/52448238

1 核函式K（kernel function）定義

核函式K（kernel function）就是指K(x, y) = <f(x), f(y)>，其中x和y是n維的輸入值，f(·) 是從n維到m維的對映（通常，m>>n）。<x, y>是x和y的內積（inner product）(也稱點積（dot product）)。

舉個小小栗子。
令 x = (x1, x2, x3, x4); y = (y1, y2, y3, y4);
令 f(x) = (x1x1, x1x2, x1x3, x1x4, x2x1, x2x2, x2x3, x2x4, x3x1, x3x2, x3x3, x3x4, x4x1, x4x2, x4x3, x4x4); f(y)亦然；
令核函式 K(x, y) = (<x, y>)^2.
接下來，讓我們帶幾個簡單的數字進去看看是個什麼效果：x = (1, 2, 3, 4); y = (5, 6, 7, 8). 那麼：
f(x) = ( 1, 2, 3, 4, 2, 4, 6, 8, 3, 6, 9, 12, 4, 8, 12, 16) ;
f(y) = (25, 30, 35, 40, 30, 36, 42, 48, 35, 42, 49, 56, 40, 48, 56, 64) ;
<f(x), f(y)> = 25+60+105+160+60+144+252+384+105+252+441+672+160+384+672+1024
= 4900.
如果我們用核函式呢？
K(x, y) = (5+12+21+32)^2 = 70^2 = 4900.
就是這樣！

所以現在你看出來了吧，kernel其實就是幫我們省去在高維空間裡進行繁瑣計算的“簡便運演算法”。甚至，它能解決無限維空間無法計算的問題！因為有時f(·)會把n維空間對映到無限維空間去。

那麼kernel在SVM究竟扮演著什麼角色？
初學SVM時常常可能對kernel有一個誤讀，那就是誤以為是kernel使得低維空間的點投射到高位空間後實現了線性可分。其實不然。這是把kernel和feature space transformation混為了一談。（這個錯誤其實很蠢，只要你把SVM從頭到尾認真推導一遍就不會犯我這個錯。）

這裡寫圖片描述

這裡寫圖片描述
我們成功地找到了那個分界線，這就是最直觀的kernel啦！
可能不太嚴謹，但是kernel大概就是這個意思，詳細的數學定義樓上說的很好，就不贅述了。
引用一句這門課的教授的話：
“你在你的一生中可能會經歷很多變故，可能會變成完全不同的另一個人，但是這個世界上只有一個你，我要怎樣才能把不同的“你”分開呢？最直觀的方法就是增加“時間”這個維度，雖然這個地球上只有一個你，這個你是不可分割的，但是“昨天在中國的你”和“今天在美國的你”在時間+空間這個維度卻是可以被分割的。”

We know that everything in the world can be decomposed into the combination of the basic elements. For example, water is the combination of hydrogen and oxygen. Similarly, in mathematics, basis is used to represent various things in a simple and unified way.

In Rn space, we can use n independent vectors to represent any vector by linear combination. The n independent vectors can be viewed as a set of basis. There are infinite basis sets in R

nRn space. Among them, basis vectors that are orthogonal to each other are of special interests. For example, {ei}ni=1{ei}i=1n is a special basis set with mutually orthogonal basis vectors in the same length, where eiei is a vector that has all zero entries except the iith entry which equals 1.
The inner product operator measures the similarity between vectors. For two vectors x and y , the inner product is the projection of one vector to the other.

這裡寫圖片描述

3. Kernel Function

A function f(x) can be viewed as an infinite vector, then for a function with two independent variables K(x,y), we can view it as an infinite matrix. Among them, if K(x,y)=K(y,x) and

∫∫f(x)K(x,y)f(y)dxdy≥0∫∫f(x)K(x,y)f(y)dxdy≥0for any function ff, then K(x,y)K(x,y) is symmetric and positive definite, in which case K(x,y)K(x,y) is a kernel function.

這裡寫圖片描述

Here are some commonly used kernels:

Polynomial kernel K(x,y)=(γxTy+C)d
Gaussian radial basis kernel K(x,y)=exp(−γ∥x−y∥2)
Sigmoid kernel K(x,y)=tanh(γxTy+C)

3.1 補充知識

The hyperbolic functions are:

Hyperbolic sine:
sinhx=ex−e−x2=e2x−12ex=1−e−2x2e−x.sinh⁡x=ex−e−x2=e2x−12ex=1−e−2x2e−x.
Hyperbolic cosine:
coshx=ex+e−x2=

這篇博文開始的例子就很好地揭示了核函式的簡單原理，寫得很好！

1 核函式K（kernel function）定義

3. Kernel Function

3.1 補充知識

核函式詳解

機器學習--支援向量機（五）核函式詳解

#26 Linux kernel（內核）詳解與uname、lsmod、modinfo、depmod、insmod、rmmod、modprobe...命令用法

MySQL 的函式詳解！

Vue生命週期函式詳解

goinit函式詳解

linux 核心 - ioctl 函式詳解

assert.ifError()函式詳解

assert.throws()函式詳解

Swoole Echo伺服器隨意搭建及set函式詳解

深入理解計算機系統配套實驗（一） data lab 函式詳解

fcntl函式詳解

Mysql 字元函式詳解

C++建構函式詳解及顯示呼叫建構函式

單鏈表，頭插法，尾插法各種函式詳解

Opencv基礎： Mat類裡setTo函式詳解

keras：4)LSTM函式詳解

Socket通訊過程和函式詳解

malloc和free函式詳解（轉載只是為了查閱方便，若侵權立刪）

【深度學習】Tensorflow函式詳解

核函式詳解

這篇博文開始的例子就很好地揭示了核函式的簡單原理，寫得很好！

1 核函式K（kernel function）定義

3. Kernel Function

3.1 補充知識

相關推薦