感知機原理：

為了使線性迴歸能用於分類，引入了logistic函式對映成比率來進行分類。但是從人的直觀視角來看，對於如上圖所示的點，能否在空間中直接就找到一條分割線呢？感知機學習的目標就是求得一個能夠將訓練資料集中正負例項完全分開的分類超平面。那麼如何找這個超平面？

首先可以得出感知機的模型：

然後從機器學習的老套路來看，我們肯定需要一個損失函式，所以自然可以定義出損失函式的策略：誤分類點到分隔超平面的總距離

迭代的次數會不會很多？對偶優化問題
可以想到沒有被誤分的點參與迭代調整次數為0，而對於多次被誤分的點就會參與多次的迭代，為了節省時間，將採用它的對偶形式來進行優化。即將w 和 b 表示為 xi和 yi的線性組合的形式來求解，計算時的樣本內積形成的Gram矩陣將大大提高速度：
此時函式變為：

其他的就沒什麼的，不過值得注意的是感知機面向的特徵空間必須是得線性可分的，而且滿足條件的分割線會有多個。由此得來神經網路和支援向量機。