1. 程式人生 > >BP神經網絡的參數改進參考?

BP神經網絡的參數改進參考?

learning 缺陷 師範 次數 速度 bsp image 大學 速度慢

參考文獻:黃巧巧. 基於BP神經網絡的手寫數字識別系統研究[D].華中師範大學,2009. 47-52

BP神經網絡的缺陷:收斂速度慢和局部極小點的問題

使用的改進方案有

1. 學習速率(learning rate)的改進

1.1在訓練開始時采用較大的學習速率,在叠代訓練時將學習速率減小。

1.2自適應學習速率(略)

2. 激勵函數的改進。傳統方式使用S函數,對收斂速度,學習效率,誤入局部最小等問題進行調整

2.1采用三角函數f(x) = (0.5/λ)sin(λx)+0.5/λ

2.2采用改進的S函數 f(x) = 技術分享圖片

3.附加動量的改進,抑制局部最小的結果

△w(k+1) = (1-mc)η▽f(w(k))+mc

(w(k)-w(k-1))

w為權值向量,k為訓練次數,mc為動量因子▽f(w(k))為誤差函數的梯度。

試了一下2.2,確實有點效果。

BP神經網絡的參數改進參考?