1. 程式人生 > >高斯核會把原始維度映射到無窮多維的原理

高斯核會把原始維度映射到無窮多維的原理

機器學習

先考慮多項式核函數(polynomial kernel)比如

技術分享圖片
假設每個向量維度為2 兩向量 X = (x1 , y1) Y = (x2 , y2)。則有
技術分享圖片
現在分析高斯核
技術分享圖片

同樣每個向量的維度為2 兩向量 X = (x1 , y1) Y = (x2, y2)則有根據泰勒公式
技術分享圖片
技術分享圖片

可以看出公式中的的泰勒展開式其實是0-n維的多項式核函數的和。

我們知道多項式核函數將低維數據映射到高維(維度是有限的),

那麽 對於無限個 不同維的多項式核函數之和 的高斯核,

其中也包括 無窮維度 的 多項式核函數。而且我們也找得到 使該等式
技術分享圖片
成立而且維度 是無窮維。

其實核函數並不是在SVM裏面才出現的
一個經典的例子就是信號處理中signal detection的問題:給一條time series我如何知道它不是一個random walk的噪音而是有一個特定的pattern在裏面呢?在這個情景下,RKHS理論就給出了一個通過現實求解likelihood ratio的假設檢驗方案,其中的kernel實際上是某個隨機過程 R(t) 在兩個不同時間點的correlation。

最後推薦一個視頻裏面對kernel machine的應用講的比較全面
https://www.youtube.com/watch?v=ek9jwRA2Jio

高斯核會把原始維度映射到無窮多維的原理