BP中文名為誤差後向傳播演算法，其是針對前饋神經網路的常用訓練演算法。BP的演算法原理資料很多，這裡就不一一贅述。

一、演算法的思考與改進
BP演算法雖然很強大，但是其收斂速度慢，訓練時間長、容易落入區域性最優值等缺點一直為人詬病。而對於BP演算法的改進方法有如：自適應步長、增加動量項等。

固定步長：

如下對於這是簡單的線性資料擬合，差不到200+次迭代神經網路才收斂：

調整策略1：
這個調整策略來自參考文獻[1]的變學習率公式，前期的步長十分大，而後學習率隨著迭代次數增加而線性減小：

stepDist = max_step - ((max_step - min_step) * cntIter / nIter);
 

其接近20次就基本收斂了：

調整策略2：
使用前後兩次的迭代誤差的差值來確定是否增加還是減少學習率，更加差值的大小，確定步長的變化幅度。而且變化的步長使用差值的log函式作為最為單位步長的倍數，使用對數函式能減緩變化的速度，減少網路發散的可能。
這個演算法是我自己想的，雖然能提升收斂速度，但是收斂的過程中單位步長應該更小一些，震盪才不會那麼厲害

sde = 0.01；%%變化的單位步長%
k = err(1) - err(2); %%前後兩次的迭代誤差的差值%
if k > 0.01
    stepDist = stepDist - (log(k) + 1
 
) * sde;
if stepDist <= 0 
    stepDist = 0.01; 
end
elseif k < -0.01
    stepDist = stepDist + (log(-k) + 1) * sde;
end           
end

<未完待續>