神經元的變換函式

從淨輸入到輸出的變換函式稱為神經元的變換函式，即

1. 閾值型變換函式
   比如符號函式

   

2. 非線性變換函式
   比如單極性Sigmoid函式

   
   又比如雙極性S型（又曲正切）函式

   

3. 分段性變換函式
   比如

   

4. 概率型變換函式
   這時輸入與輸出之間的關係是不確定的，需要用一個隨機函式來描述輸出狀態為1或為0的概率。設輸出為1的概率為

   

   T為溫度引數，這種神經元模型也稱為熱力學模型。

學習規則

改變權值的規則稱為學習規則或學習演算法。

Hebb學習規則指出：當神經元的突觸前膜電位與突觸後膜電位同時為正時，突觸傳導增強；電位相反時，突觸傳導減弱。應預先設定權值飽和值，防止輸入和輸出正負始終一致時出現權值無約束增長。

η是學習率。

在離散感知器學習規則中，期望輸出d_j和實際輸出sgn(W_j^TX)取值都是-1和1。這種感知器僅適合於二進位制神經元。

連續感知器δ規則要求變換函式是可導的，因此只能用於有導師學習中定義的連續變換函式，如Sigmoid函式。實際上δ規則是由輸出與期望的最小平方誤差推匯出來的。

最小均方學習規則實際上是δ規則的特例--在δ規則中令。最小均方學習規則與變換函式無關，不需要對變換函式求導，不僅學習速度快，而且具有較高的精度。它能使實際輸出與期望輸出之間的平均方差最小（什麼意思？why?）。

勝者為王規則中有一個競爭層，對於特定的輸入，競爭層的每個神經元均有輸出響應，其中響應最大的神經元j^*成為獲勝神經元，只有獲勝神經元才有權調整其權值向量。學習率應該隨著學習的進展而減小。

外星學習規則使權向量向期望輸出靠攏。

單層感知器

 單層感知器只有輸入層和輸出層，它僅對線性可分問題具有分類能力，在實際中很少使用。

多層感知器

 隱藏層的加入使感知器能夠解決非線性的分類問題，並且雙隱藏層感知器足以解決任何複雜的分類問題。

當變換函式從線性函式變為非線性函式時，分類邊界的基本元素從直線變為曲線，這樣整個分類邊界線變成連續光滑的曲線，從而提高感知器的分類能力。

對於各隱藏層節點來說，不存在期望輸出，因而學習規則對隱藏層權值不適用。

自適應線性單元（Adaptive Linear Neuron）

使用最小均方學習規則LMS（Least Mean Square）,即最小二乘法。