所謂感知機，就是二類分類的線性分類模型，其輸入為樣本的特徵向量，輸出為樣本的類別，取+1和-1二值，即通過某樣本的特徵，就可以準確判斷該樣本屬於哪一類。顧名思義，感知機能夠解決的問題首先要求特徵空間是線性可分的，再者是二類分類，即將樣本分為{+1, -1}兩類。

  感知機函式f(x) = sign(w*x + b)稱為感知機，w和b為感知機引數，w為權值（weight），b為偏置（bias）。sign()函式是符號函式，就是引數大於等於0時，函式輸出為1，否則輸出為-1.w*x是w和x的內積。

  因為x和w都是n維向量，所以分界函式w*x + b = 0是由一個超平面構成的。在超平面以下的輸出為-1，在超平面以上的輸出為1.因為這是監督學習的範疇，所以訓練樣本的輸入和輸出是已知的，我們只需要根據訓練樣本的空間得到感知機的模型便可以。所以x，y是已知的，未知的是向量w和偏移量b。感知機的評價標準是損失函式要最小。我們定義損失函式

其中M為誤分類點的集合。顯然損失函式越小，我們的模型越精確。所以我們應當找到適當的w和b的值。求損失函式的最小值，從而轉化為求其梯度。

  對w求梯度

對b求梯度

我們選擇誤分類點，然後對其值進行更新

其中η是步長，又稱為學習率。