【BP預測】基於布穀鳥演算法改進BP神經網路實現資料預測
一、 BP神經網路預測演算法簡介
說明:1.1節主要是概括和幫助理解考慮影響因素的BP神經網路演算法原理,即常規的BP模型訓練原理講解(可根據自身掌握的知識是否跳過)。1.2節開始講基於歷史值影響的BP神經網路預測模型。
使用BP神經網路進行預測時,從考慮的輸入指標角度,主要有兩類模型:
1.1 受相關指標影響的BP神經網路演算法原理
如圖一所示,使用MATLAB的newff函式訓練BP時,可以看到大部分情況是三層的神經網路(即輸入層,隱含層,輸出層)。這裡幫助理解下神經網路原理:
1)輸入層:相當於人的五官,五官獲取外部資訊,對應神經網路模型input埠接收輸入資料的過程。
2)隱含層:對應人的大腦,大腦對五官傳遞來的資料進行分析和思考,神經網路的隱含層hidden Layer對輸入層傳來的資料x進行對映,簡單理解為一個公式hiddenLayer_output=F(w*x+b)。其中,w、b叫做權重、閾值引數,F()為對映規則,也叫啟用函式,hiddenLayer_output是隱含層對於傳來的資料對映的輸出值。換句話說,隱含層對於輸入的影響因素資料x進行了對映,產生了對映值。
3)輸出層:可以對應為人的四肢,大腦對五官傳來的資訊經過思考(隱含層對映)之後,再控制四肢執行動作(向外部作出響應)。類似地,BP神經網路的輸出層對hiddenLayer_output再次進行對映,outputLayer_output=w *hiddenLayer_output+b。其中,w、b為權重、閾值引數,outputLayer_output是神經網路輸出層的輸出值(也叫模擬值、預測值)(理解為,人腦對外的執行動作,比如嬰兒拍打桌子)。
4)梯度下降演算法:通過計算outputLayer_output和神經網路模型傳入的y值之間的偏差,使用演算法來相應調整權重和閾值等引數。這個過程,可以理解為嬰兒拍打桌子,打偏了,根據偏離的距離遠近,來調整身體使得再次揮動的胳膊不斷靠近桌子,最終打中。
再舉個例子來加深理解:
圖一所示BP神經網路,具備輸入層、隱含層和輸出層。BP是如何通過這三層結構來實現輸出層的輸出值outputLayer_output,不斷逼近給定的y值,從而訓練得到一個精準的模型的呢?
從圖中串起來的埠,可以想到一個過程:坐地鐵,將圖一想象為一條地鐵線路。王某某坐地鐵回家的一天:在input起點站上車,中途經過了很多站(hiddenLayer),然後發現坐過頭了(outputLayer對應現在的位置),那麼王某某將會根據現在的位置離家(目標Target)的距離(誤差Error),返回到中途的地鐵站(hiddenLayer)重新坐地鐵(誤差反向傳遞,使用梯度下降演算法更新w和b),如果王某某又一次發生失誤,那麼將再次進行這個調整的過程。
從在嬰兒拍打桌子和王某某坐地鐵的例子中,思考問題:BP的完整訓練,需要先傳入資料給input,再經過隱含層的對映,輸出層得到BP模擬值,根據模擬值與目標值的誤差,來調整引數,使得模擬值不斷逼近目標值。比如(1)嬰兒受到了外界的干擾因素(x),從而作出反應拍桌(predict),大腦不斷的調整胳膊位置,控制四肢拍準(y、Target)。(2)王某某上車點(x),過站點(predict),不斷返回中途站來調整位置,到家(y、Target)。
在這些環節中,涉及了影響因素資料x,目標值資料y(Target)。根據x,y,使用BP演算法來尋求x與y之間存在的規律,實現由x來對映逼近y,這就是BP神經網路演算法的作用。再多說一句,上述講的過程,都是BP模型訓練,那麼最終得到的模型雖然訓練準確,但是找到的規律(bp network)是否準確與可靠呢。於是,我們再給x1到訓練好的bp network中,得到相應的BP輸出值(預測值)predict1,通過作圖,計算Mse,Mape,R方等指標,來對比predict1和y1的接近程度,就可以知道模型是否預測準確。這是BP模型的測試過程,即實現對資料的預測,並且對比實際值檢驗預測是否準確。
圖一 3層BP神經網路結構圖
1.2 基於歷史值影響的BP神經網路
以電力負荷預測問題為例,進行兩種模型的區分。在預測某個時間段內的電力負荷時:
一種做法,是考慮t時刻的氣候因素指標,比如該時刻的空氣溼度x1,溫度x2,以及節假日x3等的影響,對t時刻的負荷值進行預測。這是前面1.1所說的模型。
另一種做法,是認為電力負荷值的變化,與時間相關,比如認為t-1,t-2,t-3時刻的電力負荷值與t時刻的負荷值有關係,即滿足公式y(t)=F(y(t-1),y(t-2),y(t-3))。採用BP神經網路進行訓練模型時,則輸入到神經網路的影響因素值為歷史負荷值y(t-1),y(t-2),y(t-3),特別地,3叫做自迴歸階數或者延遲。給到神經網路中的目標輸出值為y(t)。
二、布穀鳥演算法
布穀鳥演算法是布穀鳥育雛行為和萊維飛行結合的一種演算法 。 在CS演算法中,有兩個路徑(或者說成是兩個位置的更新)備受關注:
CS演算法的執行過程如下:
三、部分程式碼
%#ok<*SAGROW> Remove hints of syntax %#ok<*CLALL> %#ok<*FNDSB> clear all ; close all ; clc ; N = 25; % Number of nests(The scale of solution) D = 10 ; % Dimensionality of solution T = 200 ; % Number of iterations Xmax = 20 ; Xmin = -20 ; Pa = 0.25 ; % Probability of building a new nest(After host bird find exotic bird eggs) nestPop = rand(N,D)*(Xmax-Xmin)+Xmin ; % Random initial solutions for t=1:T levy_nestPop = func_levy(nestPop,Xmax,Xmin) ; % Generate new solutions by Levy flights nestPop = func_bestNestPop(nestPop,levy_nestPop); % Choose a best nest among new and old nests rand_nestPop = func_newBuildNest(nestPop,Pa,Xmax,Xmin); % Abandon(Pa) worse nests and build new nests by (Preference random walk ) nestPop = func_bestNestPop(nestPop,rand_nestPop) ; % Choose a best nest among new and old nests [~,index] = max(func_fitness(nestPop)) ; % Best nests trace(t) = func_objValue(nestPop(index,:)) ; end figure plot(trace); xlabel('迭代次數') ; ylabel('適應度值') ; title('適應度進化曲線') ;
四、模擬結果
圖2布穀鳥演算法收斂曲線
測試統計如下表所示
測試結果 | 測試集正確率 | 訓練集正確率 |
---|---|---|
BP神經網路 | 100% | 95% |
CS-BP | 100% | 99.8% |
五、參考文獻及程式碼私信博主
- ^X. S. Yang, A New Metaheuristic Bat-Inspired Algorithm, in: Nature Inspired Cooperative Strategies for Optimization (NISCO 2010), Studies in Computational Intelligence, Springer Berlin, 284, Springer, 65-74 (2010).http://arxiv.org/abs/1004.4170
- ^J. D. Altringham, Bats: Biology and Behaviour, Oxford University Press, (1996).
- ^P. Richardson, Bats. Natural History Museum, London, (2008)
- ^X. S. Yang and A. H. Gandomi, Bat algorithm: a novel approach for global engineering optimization, Engineering Computations, Vol. 29, No. 5, pp. 464-483 (2012).
- ^S. Mishra, K. Shaw, D. Mishra, A new metaheuristic classification approach for microarray data,Procedia Technology, Vol. 4, pp. 802-806 (2012).
- ^K. Khan and A. Sahai, A comparison of BA, GA, PSO, BP and LM for training feed forward neural networks in e-learning context, Int. J. Intelligent Systems and Applications (IJISA), Vol. 4, No. 7, pp. 23-29 (2012).