​

一、 BP神經網路預測演算法簡介

說明：1.1節主要是概括和幫助理解考慮影響因素的BP神經網路演算法原理，即常規的BP模型訓練原理講解（可根據自身掌握的知識是否跳過）。1.2節開始講基於歷史值影響的BP神經網路預測模型。

使用BP神經網路進行預測時，從考慮的輸入指標角度，主要有兩類模型：

1.1 受相關指標影響的BP神經網路演算法原理

如圖一所示，使用MATLAB的newff函式訓練BP時，可以看到大部分情況是三層的神經網路（即輸入層，隱含層，輸出層）。這裡幫助理解下神經網路原理：
1）輸入層：相當於人的五官，五官獲取外部資訊，對應神經網路模型input埠接收輸入資料的過程。
2）隱含層：對應人的大腦，大腦對五官傳遞來的資料進行分析和思考，神經網路的隱含層hidden Layer對輸入層傳來的資料x進行對映，簡單理解為一個公式hiddenLayer_output=F(w*x+b)。其中，w、b叫做權重、閾值引數，F()為對映規則，也叫啟用函式，hiddenLayer_output是隱含層對於傳來的資料對映的輸出值。換句話說，隱含層對於輸入的影響因素資料x進行了對映，產生了對映值。
3）輸出層：可以對應為人的四肢，大腦對五官傳來的資訊經過思考（隱含層對映）之後，再控制四肢執行動作（向外部作出響應）。類似地，BP神經網路的輸出層對hiddenLayer_output再次進行對映，outputLayer_output=w *hiddenLayer_output+b。其中，w、b為權重、閾值引數，outputLayer_output是神經網路輸出層的輸出值（也叫模擬值、預測值）（理解為，人腦對外的執行動作，比如嬰兒拍打桌子）。
4）梯度下降演算法：通過計算outputLayer_output和神經網路模型傳入的y值之間的偏差，使用演算法來相應調整權重和閾值等引數。這個過程，可以理解為嬰兒拍打桌子，打偏了，根據偏離的距離遠近，來調整身體使得再次揮動的胳膊不斷靠近桌子，最終打中。

再舉個例子來加深理解：

圖一所示BP神經網路，具備輸入層、隱含層和輸出層。BP是如何通過這三層結構來實現輸出層的輸出值outputLayer_output，不斷逼近給定的y值，從而訓練得到一個精準的模型的呢？

從圖中串起來的埠，可以想到一個過程：坐地鐵，將圖一想象為一條地鐵線路。王某某坐地鐵回家的一天：在input起點站上車，中途經過了很多站（hiddenLayer），然後發現坐過頭了（outputLayer對應現在的位置），那麼王某某將會根據現在的位置離家（目標Target）的距離（誤差Error），返回到中途的地鐵站（hiddenLayer）重新坐地鐵（誤差反向傳遞，使用梯度下降演算法更新w和b），如果王某某又一次發生失誤，那麼將再次進行這個調整的過程。

從在嬰兒拍打桌子和王某某坐地鐵的例子中，思考問題：BP的完整訓練，需要先傳入資料給input，再經過隱含層的對映，輸出層得到BP模擬值，根據模擬值與目標值的誤差，來調整引數，使得模擬值不斷逼近目標值。比如（1）嬰兒受到了外界的干擾因素（x），從而作出反應拍桌（predict），大腦不斷的調整胳膊位置，控制四肢拍準（y、Target）。（2）王某某上車點（x），過站點（predict），不斷返回中途站來調整位置，到家（y、Target）。

在這些環節中，涉及了影響因素資料x，目標值資料y（Target）。根據x，y，使用BP演算法來尋求x與y之間存在的規律，實現由x來對映逼近y，這就是BP神經網路演算法的作用。再多說一句，上述講的過程，都是BP模型訓練，那麼最終得到的模型雖然訓練準確，但是找到的規律（bp network）是否準確與可靠呢。於是，我們再給x1到訓練好的bp network中，得到相應的BP輸出值（預測值）predict1，通過作圖，計算Mse，Mape，R方等指標，來對比predict1和y1的接近程度，就可以知道模型是否預測準確。這是BP模型的測試過程，即實現對資料的預測，並且對比實際值檢驗預測是否準確。
​
圖一 3層BP神經網路結構圖

1.2 基於歷史值影響的BP神經網路

以電力負荷預測問題為例，進行兩種模型的區分。在預測某個時間段內的電力負荷時：

一種做法，是考慮t時刻的氣候因素指標，比如該時刻的空氣溼度x1，溫度x2，以及節假日x3等的影響，對t時刻的負荷值進行預測。這是前面1.1所說的模型。

另一種做法，是認為電力負荷值的變化，與時間相關，比如認為t-1，t-2，t-3時刻的電力負荷值與t時刻的負荷值有關係，即滿足公式y(t)=F(y(t-1),y(t-2),y(t-3))。採用BP神經網路進行訓練模型時，則輸入到神經網路的影響因素值為歷史負荷值y(t-1),y(t-2),y(t-3)，特別地，3叫做自迴歸階數或者延遲。給到神經網路中的目標輸出值為y(t)。

二、蝙蝠演算法

蝙蝠演算法( BA) 是 Yang 教授於 2010 年基於群體智慧提出的啟發式搜尋演算法,是一種搜尋全域性最優解的有效方法。該演算法是一種基於迭代的優化技術,初始化為一組隨機解,然後 通過迭代搜尋最優解,且在最優解周圍通過隨機飛行產生區域性新解,加強了區域性搜尋。與其他演算法相比,BA 在準確性和有效性方面遠優於其他演算法,且沒有許多引數要進行調整。

BA演算法是模擬自然界中蝙蝠利用一種聲吶來探測獵物、避免障礙物的隨機搜尋演算法即模擬蝙蝠利用超聲波對障礙物或獵物進行最基本的探測、定位能力並將其和優化目標功能相聯絡。BA演算法的仿生原理將種群數量為的蝙蝠個體對映為D維問題空間中的NP個可行解,將優化過程和搜尋模擬成種群蝙蝠個體移動過程和搜尋獵物利用求解問題的適應度函式值來衡量蝙蝠所處位置的優劣，將個體的優勝劣汰過程類比為優化和搜尋過程中用好的可行解替代較差可行解的迭代過程。在蝙蝠搜尋演算法中,為了模擬蝙蝠探測獵物、避免障礙物,需假設如下三個近似的或理想化的規則：

1）所有蝙蝠利用回聲定位的方法感知距離,並且它們採用一種巧妙的方式來區別獵物和背景障礙物之間的不同。 2）蝙蝠在位置xi以速度vi隨機飛行,以固定的頻率fmin、可變的波長λ和音量A0來搜尋獵物。蝙蝠根據自身與目標的鄰近程度來自動調整發射的脈衝波長（或頻率）和調整脈衝發射率r屬於[0,1] 3）雖然音量的變化方式有多種但在蝙蝠演算法中, 假定音量A是從一個最大值A0(整數)變化到固定最小值Amin虛擬碼：

​​

三、部分程式碼

function [best,fmin,N_iter]=bat_algorithm(para)
% Display help
 help bat_algorithm.m

% Default parameters
if nargin<1,  para=[10 0.25 0.5];  end
n=para(1);      % Population size, typically 10 to 25
A=para(2);      % Loudness  (constant or decreasing)
r=para(3);      % Pulse rate (constant or decreasing)
% This frequency range determines the scalings
Qmin=0;         % Frequency minimum
Qmax=2;         % Frequency maximum
% Iteration parameters
tol=10^(-5);    % Stop tolerance
N_iter=0;       % Total number of function evaluations
% Dimension of the search variables
d=5;
% Initial arrays
Q=zeros(n,1);   % Frequency
v=zeros(n,d);   % Velocities
% Initialize the population/solutions
for i=1:n,
  Sol(i,:)=randn(1,d);
  Fitness(i)=Fun(Sol(i,:));
end
% Find the current best
[fmin,I]=min(Fitness);
best=Sol(I,:);

% ======================================================  %
% Note: As this is a demo, here we did not implement the  %
% reduction of loudness and increase of emission rates.   %
% Interested readers can do some parametric studies       %
% and also implementation various changes of A and r etc  %
% ======================================================  %

% Start the iterations -- Bat Algorithm
while (fmin>tol)
        % Loop over all bats/solutions
        for i=1:n,
          Q(i)=Qmin+(Qmin-Qmax)*rand;
          v(i,:)=v(i,:)+(Sol(i,:)-best)*Q(i);
          S(i,:)=Sol(i,:)+v(i,:);
          % Pulse rate
          if rand>r
              S(i,:)=best+0.01*randn(1,d);
          end

     % Evaluate new solutions
           Fnew=Fun(S(i,:));
     % If the solution improves or not too loudness
           if (Fnew<=Fitness(i)) & (rand<A) ,
                Sol(i,:)=S(i,:);
                Fitness(i)=Fnew;
           end

          % Update the current best
          if Fnew<=fmin,
                best=S(i,:);
                fmin=Fnew;
          end
        end
        N_iter=N_iter+n;
end
% Output/display
disp(['Number of evaluations: ',num2str(N_iter)]);
disp(['Best =',num2str(best),' fmin=',num2str(fmin)]);
% Objective function -- Rosenbrock's 3D function
function z=Fun(u)
z=(1-u(1))^2+100*(u(2)-u(1)^2)^2+(1-u(3))^2+(u(4)-2)^2+(u(5)-0.4)^2;
%%%%% ============ end ====================================

四、模擬結果

​

圖2蝙蝠演算法收斂曲線

測試統計如下表所示

五、參考文獻及程式碼私信博主

1. ^X. S. Yang, A New Metaheuristic Bat-Inspired Algorithm, in: Nature Inspired Cooperative Strategies for Optimization (NISCO 2010), Studies in Computational Intelligence, Springer Berlin, 284, Springer, 65-74 (2010).http://arxiv.org/abs/1004.4170
2. ^J. D. Altringham, Bats: Biology and Behaviour, Oxford University Press, (1996).
3. ^P. Richardson, Bats. Natural History Museum, London, (2008)
4. ^X. S. Yang and A. H. Gandomi, Bat algorithm: a novel approach for global engineering optimization, Engineering Computations, Vol. 29, No. 5, pp. 464-483 (2012).
5. ^S. Mishra, K. Shaw, D. Mishra, A new metaheuristic classification approach for microarray data,Procedia Technology, Vol. 4, pp. 802-806 (2012).
6. ^K. Khan and A. Sahai, A comparison of BA, GA, PSO, BP and LM for training feed forward neural networks in e-learning context, Int. J. Intelligent Systems and Applications (IJISA), Vol. 4, No. 7, pp. 23-29 (2012).

​

​