BP神經網路的設計例項(MATLAB程式設計) .
阿新 • • 發佈:2019-01-03
例1 採用動量梯度下降演算法訓練 BP 網路。
訓練樣本定義如下:
輸入向量為
p =[-1 -2 3 1
-1 1 5 -3]
目標向量為 t = [-1 -1 1 1]
解:本例的 MATLAB 程式如下:
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本
% P 為輸入向量
P=[-1, -2, 3, 1; -1, 1, 5, -3];
% T 為目標向量
T=[-1, -1, 1, 1];
pause;
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')
% 當前輸入層權值和閾值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
% 當前網路層權值和閾值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
pause
clc
% 設定訓練引數
net.trainParam.show = 50;
net.trainParam.lr = 0.05;
net.trainParam.mc = 0.9;
net.trainParam.epochs = 1000;
net.trainParam.goal = 1e-3;
pause
clc
% 呼叫 TRAINGDM 演算法訓練 BP 網路
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P)
% 計算模擬誤差
E = T - A
MSE=mse(E)
pause
clc
echo off
例2 採用貝葉斯正則化演算法提高 BP 網路的推廣能力。在本例中,我們採用兩種訓練方法,即 L-M 優化演算法(trainlm)和貝葉斯正則化演算法(trainbr),用以訓練 BP 網路,使其能夠擬合某一附加有白噪聲的正弦樣本資料。其中,樣本資料可以採用如下MATLAB 語句生成:
輸入向量:P = [-1:0.05:1];
目標向量:randn(’seed’,78341223);
T = sin(2*pi*P)+0.1*randn(size(P));
解:本例的 MATLAB 程式如下:
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本向量
% P 為輸入向量
P = [-1:0.05:1];
% T 為目標向量
randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P));
% 繪製樣本資料點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':');
% 繪製不含噪聲的正弦曲線
echo on
clc
pause
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[20,1],{'tansig','purelin'});
pause
clc
echo off
clc
disp('1. L-M 優化演算法 TRAINLM'); disp('2. 貝葉斯正則化演算法 TRAINBR');
choice=input('請選擇訓練演算法(1,2):');
figure(gcf);
if(choice==1)
echo on
clc
% 採用 L-M 優化演算法 TRAINLM
net.trainFcn='trainlm';
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
net.trainParam.goal = 1e-6;
net=init(net);
% 重新初始化
pause
clc
elseif(choice==2)
echo on
clc
% 採用貝葉斯正則化演算法 TRAINBR
net.trainFcn='trainbr';
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
randn('seed',192736547);
net = init(net);
% 重新初始化
pause
clc
end
% 呼叫相應演算法訓練 BP 網路
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P);
% 計算模擬誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪製匹配結果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
通過採用兩種不同的訓練演算法,我們可以得到如圖 1和圖 2所示的兩種擬合結果。圖中的實線表示擬合曲線,虛線代表不含白噪聲的正弦曲線,“+”點為含有白噪聲的正弦樣本資料點。顯然,經 trainlm 函式訓練後的神經網路對樣本資料點實現了“過度匹配”,而經 trainbr 函式訓練的神經網路對噪聲不敏感,具有較好的推廣能力。
值得指出的是,在利用 trainbr 函式訓練 BP 網路時,若訓練結果收斂,通常會給出提示資訊“Maximum MU reached”。此外,使用者還可以根據 SSE 和 SSW 的大小變化情況來判斷訓練是否收斂:當 SSE 和 SSW 的值在經過若干步迭代後處於恆值時,則通常說明網路訓練收斂,此時可以停止訓練。觀察trainbr 函式訓練 BP 網路的誤差變化曲線,可見,當訓練迭代至 320 步時,網路訓練收斂,此時 SSE 和 SSW 均為恆值,當前有效網路的引數(有效權值和閾值)個數為 11.7973。
例3 採用“提前停止”方法提高 BP 網路的推廣能力。對於和例 2相同的問題,在本例中我們將採用訓練函式 traingdx 和“提前停止”相結合的方法來訓練 BP 網路,以提高 BP 網路的推廣能力。
解:在利用“提前停止”方法時,首先應分別定義訓練樣本、驗證樣本或測試樣本,其中,驗證樣本是必不可少的。在本例中,我們只定義並使用驗證樣本,即有
驗證樣本輸入向量:val.P = [-0.975:.05:0.975]
驗證樣本目標向量:val.T = sin(2*pi*val.P)+0.1*randn(size(val.P))
值得注意的是,儘管“提前停止”方法可以和任何一種 BP 網路訓練函式一起使用,但是不適合同訓練速度過快的演算法聯合使用,比如 trainlm 函式,所以本例中我們採用訓練速度相對較慢的變學習速率演算法 traingdx 函式作為訓練函式。
本例的 MATLAB 程式如下:
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本向量
% P 為輸入向量
P = [-1:0.05:1];
% T 為目標向量
randn('seed',78341223);
T = sin(2*pi*P)+0.1*randn(size(P));
% 繪製訓練樣本資料點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':'); % 繪製不含噪聲的正弦曲線
echo on
clc
pause
clc
% 定義驗證樣本
val.P = [-0.975:0.05:0.975]; % 驗證樣本的輸入向量
val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)); % 驗證樣本的目標向量
pause
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
net = init(net);
pause
clc
% 訓練 BP 網路
[net,tr]=train(net,P,T,[],[],val);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P);
% 計算模擬誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪製模擬擬合結果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
下面給出了網路的某次訓練結果,可見,當訓練至第 136 步時,訓練提前停止,此時的網路誤差為 0.0102565。給出了訓練後的模擬資料擬合曲線,效果是相當滿意的。
[net,tr]=train(net,P,T,[],[],val);
TRAINGDX, Epoch 0/500, MSE 0.504647/0, Gradient 2.1201/1e-006
TRAINGDX, Epoch 25/500, MSE 0.163593/0, Gradient 0.384793/1e-006
TRAINGDX, Epoch 50/500, MSE 0.130259/0, Gradient 0.158209/1e-006
TRAINGDX, Epoch 75/500, MSE 0.086869/0, Gradient 0.0883479/1e-006
TRAINGDX, Epoch 100/500, MSE 0.0492511/0, Gradient 0.0387894/1e-006
TRAINGDX, Epoch 125/500, MSE 0.0110016/0, Gradient 0.017242/1e-006
TRAINGDX, Epoch 136/500, MSE 0.0102565/0, Gradient 0.01203/1e-006
TRAINGDX, Validation stop.
例3 用BP網路估計膽固醇含量
這是一個將神經網路用於醫療應用的例子。我們設計一個器械,用於從血樣的光譜組成的測量中得到血清的
膽固醇含量級別,我們有261個病人的血樣值,包括21種波長的譜線的資料,對於這些病人,我們得到了基於 光譜分類的膽固醇含量級別hdl,ldl,vldl。
(1) 樣本資料的定義與預處理。
choles_all.mat 檔案中儲存了網路訓練所需要的全部樣本資料。
利用 load 函式可以在工作空間中自動載入網路訓練所需的輸入資料 p 和目標資料 t,即
load choles_all
sizeofp = size (p)
sizeofp = 21 264
sizeoft = size (t)
sizeoft = 3 264
可見,樣本集的大小為 264。為了提高神經網路的訓練效率,通常要對樣本資料作適當的預處理。首先,利用 prestd 函式對樣本資料作歸一化處理,使得歸一化後的輸入和目標資料均服從正態分佈,即 [pn,meanp,stdp,tn,meant,stdt] = prestd(p,t);
然後,利用 prepca 函式對歸一化後的樣本資料進行主元分析,從而消除樣本資料中的冗餘成份,起到資料降維的目的。
[ptrans,transMat] = prepca(pn,0.001);
[R,Q] = size(ptrans)
R = 4 Q = 264
可見,主元分析之後的樣本資料維數被大大降低,輸入資料的維數由 21 變為 4。
(2) 對訓練樣本、驗證樣本和測試樣本進行劃分。
為了提高網路的推廣能力和識別能力,訓練中採用“提前停止”的方法,因此,在訓練之前,需要將上面處理後的樣本資料適當劃分為訓練樣本集、驗證樣本集和測試樣本集。
(3) 網路生成與訓練。 選用兩層 BP 網路,其中網路輸入維數為 4,輸出維數為 3,輸出值即為血清膽固醇的三個指標值大小。網路中間層神經元數目預選為 5,傳遞函式型別選為 tansig 函式,輸出層傳遞函式選為線性函式 purelin,訓練函式設為 trainlm。網路的生成語句如下:
net = newff(minmax(ptr),[5 3],{'tansig' 'purelin'},'trainlm');
利用 train 函式對所生成的神經網路進行訓練,訓練結果如下:
[net,tr]=train(net,ptr,ttr,[],[],val,test);
見,網路訓練迭代至第 20 步時提前停止,這是由於驗證誤差已經開始變大。利用下面語句可以繪製出訓練誤差、驗證誤差和測試誤差的變化曲線,如圖 4.50 所示。由圖可見,驗證誤差和測試誤差的變化趨勢基本一致,說明樣本集的劃分基本合理。由訓練誤差曲線可見,訓練誤差結果也是比較滿意的。
(4) 網路模擬。 為了進一步檢驗訓練後網路的效能,下面對訓練結果作進一步模擬分析。利用 postreg函式可以對網路模擬的輸出結果和目標輸出作線性迴歸分析,並得到兩者的相關係數,從而可以作為網路訓練結果優劣的判別依據。模擬與線性迴歸分析如下:
an = sim(net,ptrans);
a = poststd(an,meant,stdt);
for i=1:3
figure(i)
[m(i),b(i),r(i)] = postreg(a(i,:),t(i,:));
end
%匯入原始測量資料
load choles_all;
%對原始資料進行規範化處理,prestd是對輸入資料和輸出資料進行規範化處理,
%prepca可以刪除一些資料,適當地保留了變化不小於0.01的資料
[pn,meanp,stdp,tn,meant,stdt]=prestd(p,t);
[ptrans,transMat]=prepca(pn,0.001);
[R,Q]=size(ptrans)
%將原始資料分成幾個部分作為不同用途四分已用於確證,四分一用於測試,二分一用於訓練網路
iitst=2:4:Q;
iival=4:4:Q;
iitr=[1:4:Q 3:4:Q];
%vv是確證向量,.P是輸入,.T是輸出,vt是測試向量
vv.P=ptrans(:,iival);
vv.T=tn(:,iival);
vt.P=ptrans(:,iitst);
vt.T=tn(:,iitst);
ptr=ptrans(:,iitr);
ttr=tn(:,iitr);
%建立網路,隱層中設計5個神經元,由於需要得到的是3個目標,所以網路需要有3個輸出
net=newff(minmax(ptr),[5 3],{'tansig' 'purelin'},'trainlm');
%訓練網路
net.trainParam.show=5;
[net,tr]=train(net,ptr,ttr,[],[],vv,vt);
%繪出訓練過程中各誤差的變化曲線
plot(tr.epoch,tr.perf,'r',tr.epoch,tr.vperf,':g',tr.epoch,tr.tperf,'-.b');
legend('訓練','確證','測試',-1);
ylabel('平方誤差');
xlabel('時間');
pause;
%將所有資料通過網路(包括訓練,確證,測試),然後得到網路輸出和相應目標進行線性迴歸,
%對網路輸出進行反規範化變換,並繪出個各級別的線性迴歸結果曲線
an=sim(net,ptrans);
a=poststd(an,meant,stdt);
%得到3組輸出,所以進行3次線性迴歸
for i=1:3
figure(i)
[m(i),b(i),r(i)] = postreg(a(i,:),t(i,:));
end
網路輸出資料和目標資料作線性迴歸後,前面兩個輸出對目標的跟蹤比較好,相應的R值接近0.9。而第三個輸出卻並不理想,我們很可能需要在這點上做更多工作。可能需要使用其它的網路結構(使用更多的隱層神經元),或者是在訓練技術上使用貝頁斯規範華而不實使用早停的方法。
把隱層數目改為20個時,網路訓練的3種誤差非常接近,得到的結果R也相應提高。但不代表神經元越多就越精確。
多層神經網路能夠對任意的線性或者非線性函式進行逼近,其精度也是任意的。但是BP網路不一定能找到解。訓練時,學習速率太快可能引起不穩定,太慢則要花費太多時間,不同的訓練演算法也對網路的效能有很大影響。BP網路對隱層的神經元數目也是很敏感的,太少則很難適應,太多則可能設計出超適應網路。
訓練樣本定義如下:
輸入向量為
p =[-1 -2 3 1
-1 1 5 -3]
目標向量為 t = [-1 -1 1 1]
解:本例的 MATLAB 程式如下:
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本
% P 為輸入向量
P=[-1, -2, 3, 1; -1, 1, 5, -3];
% T 為目標向量
T=[-1, -1, 1, 1];
pause;
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')
% 當前輸入層權值和閾值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
% 當前網路層權值和閾值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
pause
clc
% 設定訓練引數
net.trainParam.show = 50;
net.trainParam.lr = 0.05;
net.trainParam.mc = 0.9;
net.trainParam.epochs = 1000;
net.trainParam.goal = 1e-3;
pause
clc
% 呼叫 TRAINGDM 演算法訓練 BP 網路
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P)
% 計算模擬誤差
E = T - A
MSE=mse(E)
pause
clc
echo off
例2 採用貝葉斯正則化演算法提高 BP 網路的推廣能力。在本例中,我們採用兩種訓練方法,即 L-M 優化演算法(trainlm)和貝葉斯正則化演算法(trainbr),用以訓練 BP 網路,使其能夠擬合某一附加有白噪聲的正弦樣本資料。其中,樣本資料可以採用如下MATLAB 語句生成:
輸入向量:P = [-1:0.05:1];
目標向量:randn(’seed’,78341223);
T = sin(2*pi*P)+0.1*randn(size(P));
解:本例的 MATLAB 程式如下:
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本向量
% P 為輸入向量
P = [-1:0.05:1];
% T 為目標向量
randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P));
% 繪製樣本資料點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':');
% 繪製不含噪聲的正弦曲線
echo on
clc
pause
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[20,1],{'tansig','purelin'});
pause
clc
echo off
clc
disp('1. L-M 優化演算法 TRAINLM'); disp('2. 貝葉斯正則化演算法 TRAINBR');
choice=input('請選擇訓練演算法(1,2):');
figure(gcf);
if(choice==1)
echo on
clc
% 採用 L-M 優化演算法 TRAINLM
net.trainFcn='trainlm';
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
net.trainParam.goal = 1e-6;
net=init(net);
% 重新初始化
pause
clc
elseif(choice==2)
echo on
clc
% 採用貝葉斯正則化演算法 TRAINBR
net.trainFcn='trainbr';
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
randn('seed',192736547);
net = init(net);
% 重新初始化
pause
clc
end
% 呼叫相應演算法訓練 BP 網路
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P);
% 計算模擬誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪製匹配結果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
通過採用兩種不同的訓練演算法,我們可以得到如圖 1和圖 2所示的兩種擬合結果。圖中的實線表示擬合曲線,虛線代表不含白噪聲的正弦曲線,“+”點為含有白噪聲的正弦樣本資料點。顯然,經 trainlm 函式訓練後的神經網路對樣本資料點實現了“過度匹配”,而經 trainbr 函式訓練的神經網路對噪聲不敏感,具有較好的推廣能力。
值得指出的是,在利用 trainbr 函式訓練 BP 網路時,若訓練結果收斂,通常會給出提示資訊“Maximum MU reached”。此外,使用者還可以根據 SSE 和 SSW 的大小變化情況來判斷訓練是否收斂:當 SSE 和 SSW 的值在經過若干步迭代後處於恆值時,則通常說明網路訓練收斂,此時可以停止訓練。觀察trainbr 函式訓練 BP 網路的誤差變化曲線,可見,當訓練迭代至 320 步時,網路訓練收斂,此時 SSE 和 SSW 均為恆值,當前有效網路的引數(有效權值和閾值)個數為 11.7973。
例3 採用“提前停止”方法提高 BP 網路的推廣能力。對於和例 2相同的問題,在本例中我們將採用訓練函式 traingdx 和“提前停止”相結合的方法來訓練 BP 網路,以提高 BP 網路的推廣能力。
解:在利用“提前停止”方法時,首先應分別定義訓練樣本、驗證樣本或測試樣本,其中,驗證樣本是必不可少的。在本例中,我們只定義並使用驗證樣本,即有
驗證樣本輸入向量:val.P = [-0.975:.05:0.975]
驗證樣本目標向量:val.T = sin(2*pi*val.P)+0.1*randn(size(val.P))
值得注意的是,儘管“提前停止”方法可以和任何一種 BP 網路訓練函式一起使用,但是不適合同訓練速度過快的演算法聯合使用,比如 trainlm 函式,所以本例中我們採用訓練速度相對較慢的變學習速率演算法 traingdx 函式作為訓練函式。
本例的 MATLAB 程式如下:
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本向量
% P 為輸入向量
P = [-1:0.05:1];
% T 為目標向量
randn('seed',78341223);
T = sin(2*pi*P)+0.1*randn(size(P));
% 繪製訓練樣本資料點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':'); % 繪製不含噪聲的正弦曲線
echo on
clc
pause
clc
% 定義驗證樣本
val.P = [-0.975:0.05:0.975]; % 驗證樣本的輸入向量
val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)); % 驗證樣本的目標向量
pause
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
net = init(net);
pause
clc
% 訓練 BP 網路
[net,tr]=train(net,P,T,[],[],val);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P);
% 計算模擬誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪製模擬擬合結果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
下面給出了網路的某次訓練結果,可見,當訓練至第 136 步時,訓練提前停止,此時的網路誤差為 0.0102565。給出了訓練後的模擬資料擬合曲線,效果是相當滿意的。
[net,tr]=train(net,P,T,[],[],val);
TRAINGDX, Epoch 0/500, MSE 0.504647/0, Gradient 2.1201/1e-006
TRAINGDX, Epoch 25/500, MSE 0.163593/0, Gradient 0.384793/1e-006
TRAINGDX, Epoch 50/500, MSE 0.130259/0, Gradient 0.158209/1e-006
TRAINGDX, Epoch 75/500, MSE 0.086869/0, Gradient 0.0883479/1e-006
TRAINGDX, Epoch 100/500, MSE 0.0492511/0, Gradient 0.0387894/1e-006
TRAINGDX, Epoch 125/500, MSE 0.0110016/0, Gradient 0.017242/1e-006
TRAINGDX, Epoch 136/500, MSE 0.0102565/0, Gradient 0.01203/1e-006
TRAINGDX, Validation stop.
例3 用BP網路估計膽固醇含量
這是一個將神經網路用於醫療應用的例子。我們設計一個器械,用於從血樣的光譜組成的測量中得到血清的
膽固醇含量級別,我們有261個病人的血樣值,包括21種波長的譜線的資料,對於這些病人,我們得到了基於 光譜分類的膽固醇含量級別hdl,ldl,vldl。
(1) 樣本資料的定義與預處理。
choles_all.mat 檔案中儲存了網路訓練所需要的全部樣本資料。
利用 load 函式可以在工作空間中自動載入網路訓練所需的輸入資料 p 和目標資料 t,即
load choles_all
sizeofp = size (p)
sizeofp = 21 264
sizeoft = size (t)
sizeoft = 3 264
可見,樣本集的大小為 264。為了提高神經網路的訓練效率,通常要對樣本資料作適當的預處理。首先,利用 prestd 函式對樣本資料作歸一化處理,使得歸一化後的輸入和目標資料均服從正態分佈,即 [pn,meanp,stdp,tn,meant,stdt] = prestd(p,t);
然後,利用 prepca 函式對歸一化後的樣本資料進行主元分析,從而消除樣本資料中的冗餘成份,起到資料降維的目的。
[ptrans,transMat] = prepca(pn,0.001);
[R,Q] = size(ptrans)
R = 4 Q = 264
可見,主元分析之後的樣本資料維數被大大降低,輸入資料的維數由 21 變為 4。
(2) 對訓練樣本、驗證樣本和測試樣本進行劃分。
為了提高網路的推廣能力和識別能力,訓練中採用“提前停止”的方法,因此,在訓練之前,需要將上面處理後的樣本資料適當劃分為訓練樣本集、驗證樣本集和測試樣本集。
(3) 網路生成與訓練。 選用兩層 BP 網路,其中網路輸入維數為 4,輸出維數為 3,輸出值即為血清膽固醇的三個指標值大小。網路中間層神經元數目預選為 5,傳遞函式型別選為 tansig 函式,輸出層傳遞函式選為線性函式 purelin,訓練函式設為 trainlm。網路的生成語句如下:
net = newff(minmax(ptr),[5 3],{'tansig' 'purelin'},'trainlm');
利用 train 函式對所生成的神經網路進行訓練,訓練結果如下:
[net,tr]=train(net,ptr,ttr,[],[],val,test);
見,網路訓練迭代至第 20 步時提前停止,這是由於驗證誤差已經開始變大。利用下面語句可以繪製出訓練誤差、驗證誤差和測試誤差的變化曲線,如圖 4.50 所示。由圖可見,驗證誤差和測試誤差的變化趨勢基本一致,說明樣本集的劃分基本合理。由訓練誤差曲線可見,訓練誤差結果也是比較滿意的。
(4) 網路模擬。 為了進一步檢驗訓練後網路的效能,下面對訓練結果作進一步模擬分析。利用 postreg函式可以對網路模擬的輸出結果和目標輸出作線性迴歸分析,並得到兩者的相關係數,從而可以作為網路訓練結果優劣的判別依據。模擬與線性迴歸分析如下:
an = sim(net,ptrans);
a = poststd(an,meant,stdt);
for i=1:3
figure(i)
[m(i),b(i),r(i)] = postreg(a(i,:),t(i,:));
end
%匯入原始測量資料
load choles_all;
%對原始資料進行規範化處理,prestd是對輸入資料和輸出資料進行規範化處理,
%prepca可以刪除一些資料,適當地保留了變化不小於0.01的資料
[pn,meanp,stdp,tn,meant,stdt]=prestd(p,t);
[ptrans,transMat]=prepca(pn,0.001);
[R,Q]=size(ptrans)
%將原始資料分成幾個部分作為不同用途四分已用於確證,四分一用於測試,二分一用於訓練網路
iitst=2:4:Q;
iival=4:4:Q;
iitr=[1:4:Q 3:4:Q];
%vv是確證向量,.P是輸入,.T是輸出,vt是測試向量
vv.P=ptrans(:,iival);
vv.T=tn(:,iival);
vt.P=ptrans(:,iitst);
vt.T=tn(:,iitst);
ptr=ptrans(:,iitr);
ttr=tn(:,iitr);
%建立網路,隱層中設計5個神經元,由於需要得到的是3個目標,所以網路需要有3個輸出
net=newff(minmax(ptr),[5 3],{'tansig' 'purelin'},'trainlm');
%訓練網路
net.trainParam.show=5;
[net,tr]=train(net,ptr,ttr,[],[],vv,vt);
%繪出訓練過程中各誤差的變化曲線
plot(tr.epoch,tr.perf,'r',tr.epoch,tr.vperf,':g',tr.epoch,tr.tperf,'-.b');
legend('訓練','確證','測試',-1);
ylabel('平方誤差');
xlabel('時間');
pause;
%將所有資料通過網路(包括訓練,確證,測試),然後得到網路輸出和相應目標進行線性迴歸,
%對網路輸出進行反規範化變換,並繪出個各級別的線性迴歸結果曲線
an=sim(net,ptrans);
a=poststd(an,meant,stdt);
%得到3組輸出,所以進行3次線性迴歸
for i=1:3
figure(i)
[m(i),b(i),r(i)] = postreg(a(i,:),t(i,:));
end
網路輸出資料和目標資料作線性迴歸後,前面兩個輸出對目標的跟蹤比較好,相應的R值接近0.9。而第三個輸出卻並不理想,我們很可能需要在這點上做更多工作。可能需要使用其它的網路結構(使用更多的隱層神經元),或者是在訓練技術上使用貝頁斯規範華而不實使用早停的方法。
把隱層數目改為20個時,網路訓練的3種誤差非常接近,得到的結果R也相應提高。但不代表神經元越多就越精確。
多層神經網路能夠對任意的線性或者非線性函式進行逼近,其精度也是任意的。但是BP網路不一定能找到解。訓練時,學習速率太快可能引起不穩定,太慢則要花費太多時間,不同的訓練演算法也對網路的效能有很大影響。BP網路對隱層的神經元數目也是很敏感的,太少則很難適應,太多則可能設計出超適應網路。