支援向量機是一種監督學習技術，主要用於分類，也可用於迴歸。它的關鍵概念是演算法搜尋最佳的可用於基於標記資料(訓練資料)對新資料點進行分類的超平面。

一般情況下演算法試圖學習一個類的最常見特徵(區分一個類與另一個類的特徵)，分類是基於學習到的這些代表性特徵(因此分類是基於類之間的差異)。支援向量機的工作方式正好相反。它會找到類之間最相似的例子，這些就是支援向量。

SVM的核方法

核或核方法(也稱為核心函式)是用於模式分析的不同型別演算法的集合。它們可以使用線性分類器來解決非線性問題。核方法被應用於支援向量機(Support Vector Machines, SVM)，用於分類和迴歸問題。SVM使用所謂的核技巧(Kernel Trick)，即對資料進行轉換，為可能的輸出找到最佳邊界。

核方法的使用條件

支援向量機演算法使用一組定義為核的數學函式。核的功能是將資料作為輸入，並將其轉換為所需的形式。不同的支援向量機演算法使用不同型別的核函式。這些函式可以是不同的型別。

例如線性、非線性、多項式、徑向基函式(RBF)和sigmoid。核函式是一個相似函式。它是我們作為領域專家，提供給機器學習演算法的一個功能。它接受兩個輸入，並計算出它們的相似程度。

假設我們的任務是學習對影象進行分類。我們有(影象，標籤)對作為訓練資料。想想典型的機器學習流程:我們獲取影象，計算特徵，將每張影象的特徵串成一個向量，然後將這些“特徵向量”和標籤輸入到學習演算法中。

核函式提供了另一種選擇。我們不需要定義大量的特徵，而是定義了一個核函式來計算影象之間的相似性。將這個核心與影象和標籤一起提供給學習演算法，從而得到一個分類器。標準的支援向量機/邏輯迴歸/感知機公式不適用於核:它們適用於特徵向量。那麼如何使用核函式呢?下面兩個定理解決了這個問題:

• 在某些條件下，每個核函式都可以表示為(可能是無限維)特徵空間中的點積(Mercer定理)。
• 許多機器學習演算法可以完全用點積來表示。

這兩個事實意味著我可以用用點積的形式表示我們喜歡的機器學習演算法，然後由於我的核在某些空間中也是一個點積，我們還可以用核來替換點積。

完整文章：

https://avoid.overfit.cn/post/aeb97550b8ee4e1bba782806c1012f3d