基本概念

線性可分：在特徵空間中可以用一個線性分介面正確無誤地分開兩 類樣本；採用增廣樣本向量，即存 在合適的增廣權向量 a 使得：

則稱樣本是線性可分的。如下圖中左圖線性可分，右圖不可分。所有滿足條件的權向量稱為解向量。權值空間中所有解向量組成的區域稱為解區。

通常對解區限制：引入餘量b，要求解向量滿足：

使解更可靠（推廣性更強），防止優化演算法收斂到解區的邊界。

感知準則函式及求解

對於權向量a，如果某個樣本yk被錯誤分類，則。我們可以用對所有錯分樣本的求和來表示對錯分樣本的懲罰：

其中Yk是被a錯分的樣本集合。當且僅當JP(a*) = min JP(a) = 0 時，a*是解向量。這就是Rosenblatt提出的感知器（Perceptron）準則函式

感知器準則函式的最小化可以使用梯度下降迭代演算法求解：

其中，k為迭代次數，η為調整的步長。即下一次迭代的權向量是把當前時刻的權向量向目標函式的負梯度方向調整一個修正量。

因此，迭代修正的公式為：

即在每一步迭代時把錯分的樣本按照某個係數疊加到權向量上。

通常情況，一次將所有錯誤樣本進行修正不是效率最高的做法，更常用是每次只修正一個樣本或一批樣本的固定增量法：

收斂性討論：可以證明，對於線性可分的樣本集，採用這種梯度下降的迭代演算法：

經過有限次修正後一定會收斂到一個解向量。

理論結論：只要訓練樣本集是線性可分的，對於任意的初值 a(1) ，經過有限次疊代，演算法必定收斂。

感知器是最簡單可以“學習”的機器，可以解決線性可分的問題。當樣本線性不可分時，感知器演算法不會收斂。實際應用中直接使用感知器的場合並不多，但他是很多複雜演算法的基礎。