支援向量機

支援向量機（Support Vector Machine，SVM）是Corinna Cortes等於1995年首先提出，是一種監督學習方法，核心思想是找到一個超平面對資料進行分割。用到區域性對偶理論、庫恩—塔克爾定理和核方法。

（1）區域性對偶理論（Local Duality Theorem）

在條件為等式的情況下，最小化目標函式，問題轉化為最小化一個目標公式。公式如下：

利用拉格朗日乘子法把問題轉化為如下公式：

（2）庫恩—塔克爾定理（Karush-Kuhn-Tuchker Theorem，KKT）

庫恩—塔克爾定理解決的是約束條件是不等式的情況。

問題如下：

（3）核方法（kernel method）

在原始資料的空間中，原始資料不好找到超平面進行劃分，利用核函式對原始資料進行對映，到新的空間裡，新的資料是可以劃分的，這種方法稱核方法（kernel method）。

常見的和函式有如下：

（4）支援向量機的理論

支援向量機的目的是要找到離不同資料之間的距離最大的超平面，假設是二維的情況。

目標公式如下：