02 - 神經網路主要知識點

神經網路就是模擬人的神經元進行訊號（資訊）收集、傳遞、處理的過程。

以人體對於溫度的感知為例：

簡單神經網路

感知機

1. 定義： 有n個輸入資料，通過權重與個數據之間的計算和，比較啟用函式結果，得出輸出。
   • sum = w1x1+w2x2+w3x3+......
2. 應用： 容易解決與、或問題， 分類問題。

• 與問題： 所有輸入為1，則為1
• 或問題： 只要有一個為1，則為1
• 亦或問題：相同為0，不同為1 （使用2條直線來劃分，即2個感知機）
  

1. 感知機與邏輯迴歸的對比

• 感知機是求和以後進行一個簡單的閾值判斷，而邏輯迴歸是通過一個sigmoid啟用函式函式轉化為[0,1]的值。

神經網路定義

當一個感知機不能解決問題的時候，會用多個感知機來構成網路。
感知機 --> 神經元
多個神經元構成的網路 --> 神經網路
神經網路是一個多分類問題，得出屬於全部類別的每一個概率，誰的概率大，就是誰。

神經網路特點

• 由輸入層(1個）、隱藏層（n個）、輸出層組成（1個）
• 輸入向量的維度和輸入神經元的個數相同 （不是個數）
• 同一層的神經元之間沒有連線
• 每個連線都有權重 （類似於線性迴歸）
• 第N層與N-1層的所有神經元全連線（最後一層全連線）
  

神經網路結構

1. 結構： 權重、神經元等
2. 啟用函式： 增強網路的非線性，簡單理解，沒有啟用函式，只能畫直線分割資料點；增加啟用函式，可以用曲線來劃分。

• ReLu, Tanh, sigmoid等

1. 學習規則： 網路中的權重，如何隨著時間（或者說是迭代）來進行自我調整。 包括正向傳播和反向傳播。

• 正向傳播（前向傳播）： 輸入經過一層層計算，（w1x1+w2x2+...) 得出輸出結果
• 反向傳播：總誤差是由不同的權重產生的，將誤差按權重的比例進行分割，向後傳遞，例如某個節點的總誤差是0.5，它是由上2個節點傳播而來，對應的權重比例為1：4， 則這兩個節點分攤誤差為0.1和0.4，依次向前傳遞。最終通過誤差值來調整各節點的權重。

神經網路的判定 (softmax)

1. 為什麼需要softmax?

• 神經網路是解決多分類問題，但是它的輸出僅僅就是一個值，使用一個函式來劃分出概率，對目標類別都會輸出一個概率，而目標特徵一般都使用one-hot編碼，通過對比不同類別的概率得出結果。

1. softmax表示式
   

神經網路演算法的優化

【不同演算法的對比】

損失衡量策略：交叉熵損失（對數似然損失的推廣）

深度神經網路

深度神經網路與單一隱藏層神經網路的區別在於深度，隨著神經網路深度增加，節點所能識別的特徵也越來越複雜。

卷積神經網路

什麼是卷積神經網路

1. 卷積神經網路是深度神經網路的一種型別，如AlexNex, VGG, GoogLeNet, ResNet, 它是為了解決全連線網路的一些缺點而存在：

• 引數太多，計算量大
• 沒有利用畫素之間的位置資訊，（圖片識別每個畫素與周圍畫素關係緊密）
• 層數限制

1. 卷積神經網路的特點在於隱藏層分為卷積層和池化層（下采樣層）

• 卷積層：通過在原始影象上進行平移來提取特徵（帶著權重偏移，乘加運算）
• 池化層：通過特徵後稀疏引數來減少學習到的引數，降低網路的複雜度。（最大池化，平均池化）
  

神經網路發展歷史

卷積層 （Convolutions)

1. 過濾器（filter），是一個帶有權重的觀察視窗，通常為1* 1, 3* 3, 5 *5 的結構，權重與圖片中的數值（RGB)做線性迴歸， （乘加運算），最終得出一個結果。
2. 步長 (strides)：過濾器在圖片上每次平移的畫素點數量
3. 0填充 (padding): 當過濾器移動至圖片邊緣以外的處理方式

• same: 越過邊緣取樣，取樣面積與輸入的影象畫素相同
• valid: 不越過邊緣取樣，取樣的面積小於輸入影象的畫素寬度。

單通道圖片卷積操作（灰度圖片）

注： 當有多個過濾器進行觀察時，過濾器攜帶的權重是不一樣的，但是其步長和零填充方式一致。有多少個過濾器，最終的結果有多少個。

多通道圖片的卷積操作（RGB圖片）

啟用函式

1. 為什麼要增加啟用函式：

• 增加網格的非線性分割能力
• 在進行梯度求導時，沒有非線性，多次求導後，梯度就消失了。

1. 常見的啟用函式

• sigmoid = 1/(1+e^(-x)) , 多次求導運算量大, 對於深層次網路，反向傳播時容易出現梯度爆炸。
• relu: max(0， x）

池化層（Pooling) 也稱為下采樣（Subsampling)

Pooling層的主要作用是特徵提取，通過去掉Feature map中不重要的樣本，進一步減少引數數量。
常見的Max Pooling 取 2*2 , 2步長， 也可以指定padding

Dropout & Inception

1. dropout : 隨機丟棄一部分資料，防止過擬合，增強泛化能力 （一般用於大型網路）
2. Inception: 一組特定的卷積結構，可以參考GoogLeNet

全連線層 （Full Connected層）

卷積池化可以理解為做特徵工程，後面的全連線相當於做特徵加權。
全連線層在神經網路中起到了 “分類器”的作用。

【拓展】對神經網路的直觀認識

使用tensorflow的playground演示
http://playground.tensorflow.org

相關推薦