梯度消失：

http://www.cnblogs.com/tsiangleo/p/6151560.html

根本的問題其實並非是消失的梯度問題或者激增的梯度問題，而是在前面的層上的梯度是來自後面的層上項的乘積。所以神經網路非常不穩定。唯一可能的情況是以上的連續乘積剛好平衡大約等於1，但是這種機率非常小。

所以只要是sigmoid函式的神經網路都會造成梯度更新的時候極其不穩定，產生梯度消失或者激增問題。

全連線的DNN

http://blog.csdn.net/eddy_zheng/article/details/50763648

http://blog.csdn.net/Dark_Scope/article/details/47056361

網路層數太多是導致梯度消失或者梯度爆炸的直接原因, 使用S型啟用函式(如:sigmoid函式,tanh函式)會導致梯度消失問題,初始權重設定太大會導致梯度爆炸