第5章 神經網路

5.1 神經元模型

• 基本定義：神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，它的組織能夠模擬生物神經系統對真實世界物體所做出的互動反應。
• M-P神經元模型：
  
    在此模型中，神經元接收到來自其他n個神經元傳遞過來的帶有權重的訊號，並將總輸入值與神經元的閾值進行比較，處理後以產生神經元的輸出。
    通常使用擠壓函式來作為啟用函式，即如下圖：
  

5.2 感知機與多層網路

• 感知機：兩層神經元（輸入層+輸出層）組成，期中輸入層接受外界輸入訊號後傳遞給輸出層，輸出層是M-P神經元，亦稱“閾值邏輯單元”。
  
• 感知機的邏輯運算：
    假設對於階躍函式y=\({f(\sum_{i}w_ix_i-\Theta)}\)

• “與”（\({x_1\bigwedge x_2}\))：令\({w_1=w_2=1,\Theta=2}\)，則y=\({f(1·x_1+1·x_2-2)}\)，僅在\({x_1=x_2=1}\)時，y=1;
• “或”（\({x_1\bigvee x_2}\))：令\({w_1=w_2=1,\Theta=0.5}\)，則y=\({f(1·x_1+1·x_2-0.5)}\)，僅在\({x_1=1或x_2=1}\)時，y=1;
• “非”（\({\neg x_1}\))：令\({w_1=-0.6,w_2=0,\Theta=-0.5}\)，則y=\({f(-0.6·x_1+0·x_2+0.5)}\)，當\({x_1=1}\)
  時，y=0;當\({x_1=0}\)時，y=1;

• 對於一般常見神經網路的缺陷：
    由於感知機只有輸出層神經元進行啟用函式處理，即只擁有一層功能神經元，其學習能力較為有限。若學習兩類模式時線性可分的，則一定存在一個線性超平面將二者分開；否則若感知機在學習過程中發生振盪，無法求合適解。
   $emsp;處理非線性可分問題時，通常考慮使用多層功能神經元。
    多層前饋神經網路：
    嗎不存在同層連結以及跨層連結