為什麼需要深層神經網路

第一：層數的增多會使每一層任務都變得簡單，例如計算乘法，可以在第一層計算按位加法，第二層計算兩個數的加法，第三層計算乘法，這樣的演算法邏輯更加簡單，清晰。也就是說中間層可以做更深的抽象。
第二：數學上可以證明只有一層隱藏層的神經網路可以表示任意的函式，但是神經元的數量卻是指數級增加的，但是使用深層網路可以解決這個問題。
所以綜上深層神經網路可以解決淺層神經網路無法輕易解決的問題。

但是如果我們使用隨機梯度下降訓練深層神經網路的話，就會發現結果並沒有比淺層神經網路好。這是因為不同的層學習速度差很多，後面的層學習更快，這是因為我們使用的是基於梯度的學習演算法。

The vanishing gradient problem

在使用MLP識別MNIST時我們會發現，一味的增加隱藏層數量並不會給最終的結果帶來好處，但是上文已經說了層數的增加可以使神經網路提升，那麼問題的原因就是增加後的網路的權重不對。
δlj=∂C/∂blj來表示第l層的第j個神經元，不嚴謹的，可以認為||δi||為每個神經元的學習速度。那麼在訓練過程中發現越靠近輸入層的神經元學習速度越慢，這就導致在整個引數空間中的一些方向的方向導數很小。

所以，並不是網路結構的問題，而是這種訓練演算法的問題。

那麼，問題來了，梯度消失的原因是什麼？我們怎樣避免梯度消失？怎樣訓練神經網路？實際上，在深度神經網路中不只有梯度消失還有梯度爆炸，只能說明深層神經網路中的梯度並不穩定，這時基於梯度的演算法無法正常工作的根本原因。

首先，想一下在近層梯度變小是不是真正的問題，或許只是那裡接近了極小值點？很可惜並不是這樣，因為我們的權重都是隨機初始化的，沒有理由哪裡不需要訓練。

梯度消失的原因

實際上，梯度消失和梯度爆炸都是梯度不穩定的表現，這是因為淺層的神經元=後面所有神經元的乘積，所以當層數增多後容易引起不穩定的表現，

深度學習的其他問題

梯度不穩定只是深度學習中的一個問題，雖然是最重要的，近年來學者們也在研究其他的一些原因，

1. 2010 年Glorot and Bengio發現sigmoid函式可能是深度學習的問題之一，
2. 2013 年Sutskever, Martens, Dahl and Hinton研究了權重的初始化，以及基於動量的方法