感知機在神經網路發展的歷史上佔據著重要的位置：它是第一個從演算法上完整描述的神經網路。它的發明者Rosenblatt是一位心理學家。

  感知機是用於線性可分模式（即不同的類別可由超平面完全分割）分類的最簡單的神經網路模型，基本上它是由一個具有可調突觸權值和偏置的神經元組成。用來調節這個神經網路中的自由引數的演算法最早出現在Rosenblatt提出的用於其腦感知模型的一個學習過程中。事實上，Rosenblatt證明了當用來訓練感知器的向量取自兩個線性可分的類時，感知器演算法是收斂的，並且決策面是位於兩類之間的超平面。演算法的收斂性證明稱為感知器收斂定理。

感知機：

  感知機是建立在一個非線性神經元上，比如使用閾值函式作為啟用函式（見筆記一的概念）的McCulloch–Pitts模型，這裡的閾值函式我們選擇符號函式，啟用函式輸入為正時，神經元輸出為1，反之，為-1。

   其中

   φ為啟用函式，或者叫做硬限幅器（限制輸出範圍），感知機的目的是把外部作用刺激  正確分為與兩類。分類規則是：如果感知器輸出y是+1就將  表示的點分配給類，反之，分配給。進一步在由 構成的m維空間中，畫出分類超平面，該超平面為

  位於邊界線上方的分入類，位於邊界線下方的點分入類。權重可由多次迭代來確定。

感知機自適應學習演算法：

  為了匯出感知機的誤差修正學習演算法，這裡將使用等價的模型：

  在對模型做了等價變換之後， 為一個超平面，將兩個不同的類區分開來的決策面。

  為了使感知機可以正確的工作兩個類必須是線性可分的，如果是非線性可分的，這種情況就超出了感知機的計算能力。

  假設感知機的輸入來自兩個線性可分的類， 為訓練向量   組成的集合，為的子集；為訓練向量  組成的集合，為的子集。與構成整個訓練集，訓練過程的目的是找到W使得:

  使感知器的權值向量自適應的演算法現在可以用以下公式來表述：

  1、如果訓練集合的第n個向量X(n)在第n次迭代的過程中可以正確分類，則W(n)不變：

       （1.1）

  2、否則，感知機的權值向量將進行如下修改：

        （1.2）

  這裡的學習率引數η(n)控制著第n次迭代中作用於權值向量的調節。

  假如η(n)=η>0，這裡η是與n無關的常數，則稱為感知機固定增量自適應規則。

  在下一節中，我們將首先證明當η=1時固定增量自適應規則的收斂性。很顯然，η的具體值並不重要，只要他是正的。對於η≠1時，並不影響η·X(n)與W(n)作用後的±符號，只是在原來的訓練向量上做了個線性縮放而已。

  在這裡，先跳過定理的證明對公式(1.2)做一個形象的解釋，由於迭代過程中發生了與我們期望的不一致，即±符號相反，那如果這時結果為正，就需要選擇一個下降方向來進行迭代，使得符號往負方向上走，同理，如果結果為負，需要找個上升方向來進行迭代。而又由於  ，則下降的時候選擇-X，上升時選擇+X。或者將W(n+1)替換中的W(n)直觀的觀察上升下降結果。