面對複雜的非線性可分的樣本是，使用淺層分類器如Logistic等需要對樣本進行復雜的對映，使得樣本在對映後的空間是線性可分的，但在原始空間，分類邊界可能是複雜的曲線。比如下圖的樣本只是在2維情形下的示例，假設有100維度，即特徵數目是100，若使用logistic來做分類，對於這種線性不可分的情形，要對特徵進行各種形式的組合對映，然後用對映後擴充的特徵進行分類，可能會增加大量的引數，計算複雜性可想而知，而且可能會造成嚴重的over-fitting，可見logistic分類的侷限性，下面引入NN。

如下是一個單層網路的示意圖，類似於感知機分類器，下圖有三個feature，有一個bias unit，其值始終為1，對應的引數為ϴ0 ϴ1 ϴ2 ϴ3，最後其線性組合做一個sigmod對映來得到最終的結果

下圖為含有隱藏層的Neurons Networds,ai(j)中的j表示層數，i表示第 i 個unit，ϴ(j)示層j到j+1的引數矩陣ϴij表示前一層的單元j到本層單元i的引數，本示例中ϴ(1)為3*4的矩陣

更簡潔的表示方法，把上一層的輸入表示為z(i), 下圖中的z(2) 分別表示上一層的activation，這三個值乘以對應的引數，然後做一個sigmod對映之後又可以當下一層的輸入，最終我們的Hϴ(x)=g(ϴ(2)*a(2)),可見最後我們不是對初始特徵x1 x2 x3做的運算，這可以理解為 Neurons Networks會自動組合特徵，從而達到更好的效果。

 最後只得注意的是，對於非線性可分的情況，NN也可以進行分類，比如XOR（異或）的情況：

參考：

Ng 2012 公開課課件