1.梯度爆炸的影響

在一個只有一個隱藏節點的網路中，損失函式和權值w偏置b構成error surface，其中有一堵牆，如下所示
 

損失函式每次迭代都是每次一小步，但是當遇到這堵牆時，在牆上的某點計算梯度，梯度會瞬間增大，指向某處不理想的位置。如果我們使用縮放，可以把誤導控制在可接受範圍內，如虛線箭頭所示

2.解決梯度爆炸問題的方法

通常會使用一種叫”clip gradients “的方法. 它能有效地權重控制在一定範圍之內.
演算法步驟如下。

• 首先設定一個梯度閾值：clip_gradient
• 在後向傳播中求出各引數的梯度，這裡我們不直接使用梯度進去引數更新，我們求這些梯度的l2範數
• 然後比較梯度的l2範數||g||與clip_gradient的大小
• 如果前者大，求縮放因子clip_gradient/||g||,　由縮放因子可以看出梯度越大，則縮放因子越小，這樣便很好地控制了梯度的範圍
• 最後將梯度乘上縮放因子便得到最後所需的梯度
   
  
   

3. 有無clip_gradient在GRU模型中的結果比較

• 無clip_gradient
  　可以很清楚地發現在2000次迭代出發生了梯度爆炸，最終影響了訓練的效果。
  　 
  
   
   
• 有clip_gradient
  可以發現clip_gradient在前期有效了控制了梯度爆炸的影響，使得最終的loss能下降到滿意的結果