關於感知機：

1.      什麼是感知機（perceptron）

 感知機是最簡單的神經網路，具備神經網路的必備要素。感知機也稱為感知器，是一種雙層神經網路，即只有輸入層和輸出層而沒有隱層的神經網路。

 感知機是一種二類分類的線性分類器，其輸入為例項的特徵向量，輸出為例項的類別，感知機屬於判別模型，旨在求出將訓練資料進行線性劃分的分離超平面。

 感知機最早是由Rosenblatt於1957年提出的，是支援向量機和神經網路的基礎。感知機學習演算法簡單而易於實現，基於誤分類的損失函式，利用梯度下降法對損失函式進行極小化，損失函式選擇誤分類點到分離超平面的總距離。

 線性分類器（linearclassifier

 資料集的線性可分性：如果存在一個超平面可以將兩類資料點劃分開，就是線性可分的資料集。資料集線性可分的充要條件是正例項點集構成的凸集與負例項點集構成的凸集互不相交。

 任意一個點到超平面的距離為：

 傳統的感知機模型的啟用函式都是用的sign，所以與SVM諸多相似。感知機只是一個線性模型，可以解決與（AND）、或（OR）問題，但無法解決複雜的異或（XOR）問題。並且，只要資料集是線性可分的，感知機模型一定是收斂的，而且有無窮多個解。感知機學習演算法有對偶形式，不再深究。

 傳統的感知機演算法：

2.      多層感知機（multi-layerperceptron）(MLP)

 MLP是一種非線性分類器，傳統的感知機模型是兩層的NN，是線性的，而MLP是三層及以上的NN，就可以實現非線性任務，比如三層的MLP可以實現異或（XOR）問題。

 MLP是由BP演算法來計算的，BP演算法的推導及過程見其他章節。MLP的結構如下：

輸入層（input layer）：

每一個節點對應於X的每一維，節點本身並不完成任何處理，只是把每一維的訊號傳送到下一層的每個節點。

中間層（隱層，hidden layer）：

隱層的節點是隱節點。

輸出層（output layer

輸出層的每個節點對應Y的每一維，對於連續性變數、預測性資料Y，就是一維的。對於分型別的Y，一般是用一維來代表一類，有幾類就有幾個輸出節點。

神經網路結構：

訊號沿著從輸入層到輸出層的方向單向流動，是輸入層到輸出層的對映。

同層節點無連線，每個節點與上一層、下一層的所有節點都連線。

這種NN是前饋型神經網路（feedforwardNN），MLP就是這種的。