1 演算法概述

1.1 工作原理

感知機是二類分類線性模型，在特徵空間中，用一個超平面將正類、負類分離，我們所要做的就是求得這個超平面。使用指示函式sign作為輸入到輸出的對映，sign(w·x+b)。

1.2 三要素

模型：分離超平面決策模型

策略：誤分類點到超平面的總距離（損失函式）

演算法：隨機梯度下降演算法

注：由於誤分類點總數作為損失函式不是引數w，b的連續可到函式，所以不能使用。

1.3 原始形式

極小化損失函式：

感知機是由誤分類驅動的，採用隨機梯度下降法更新引數，每次隨機選取一個誤分類點使其梯度下降，直到沒有誤分類點。更新引數如下：

2 對偶形式

對偶形式是將w和b表示為增量後的形式，為更新的最終目標。

其中  ，當eta等於1時，表示第i個例項點由於誤分而進行更新的次數。

更新的引數如下：

優點：演算法簡單易於實現，分類有效

缺點：分類效果一般（相比SVM）、僅線上性可分下有效

參考資料：統計學習方法（李航）、機器學習實戰（Peter）