BP神經網路原理及matlab例項

轉載：http://blog.csdn.net/u013007900/article/details/50118945

上一次我們講了M-P模型，它實際上就是對單個神經元的一種建模，還不足以模擬人腦神經系統的功能。由這些人工神經元構建出來的網路，才能夠具有學習、聯想、記憶和模式識別的能力。BP網路就是一種簡單的人工神經網路。
本文具體來介紹一下一種非常常見的神經網路模型——反向傳播(Back Propagation)神經網路。

概述

BP（Back Propagation）神經網路是1986年由Rumelhart和McCelland為首的科研小組提出，參見他們發表在Nature上的論文

Learning representations by back-propagating errors 。

BP神經網路是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式對映關係，而無需事前揭示描述這種對映關係的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。

BP演算法的基本思想

上一次我們說到，多層感知器在如何獲取隱層的權值的問題上遇到了瓶頸。既然我們無法直接得到隱層的權值，能否先通過輸出層得到輸出結果和期望輸出的誤差來間接調整隱層的權值呢？BP演算法就是採用這樣的思想設計出來的演算法，它的基本思想是,學習過程由訊號的正向傳播與誤差的反向傳播兩個過程組成。

正向傳播時，輸入樣本從輸入層傳入,經各隱層逐層處理後,傳向輸出層。若輸出層的實際輸出與期望的輸出(教師訊號)不符,則轉入誤差的反向傳播階段。
反向傳播時，將輸出以某種形式通過隱層向輸入層逐層反傳,並將誤差分攤給各層的所有單元,從而獲得各層單元的誤差訊號,此誤差訊號即作為修正各單元權值的依據。

這兩個過程的具體流程會在後文介紹。

BP演算法的訊號流向圖如下圖所示

BP網路特性分析——BP三要素

我們分析一個ANN時，通常都是從它的三要素入手，即
1)網路拓撲結構；
2)傳遞函式；
3)學習演算法。

每一個要素的特性加起來就決定了這個ANN的功能特性。所以，我們也從這三要素入手對BP網路的研究。

3.1 BP網路的拓撲結構

上一次已經說了，BP網路實際上就是多層感知器，因此它的拓撲結構和多層感知器的拓撲結構相同。由於單隱層（三層）感知器已經能夠解決簡單的非線性問題，因此應用最為普遍。三層感知器的拓撲結構如下圖所示。
一個最簡單的三層BP：

3.2 BP網路的傳遞函式

BP網路採用的傳遞函式是非線性變換函式——Sigmoid函式（又稱S函式）。其特點是函式本身及其導數都是連續的，因而在處理上十分方便。為什麼要選擇這個函式，等下在介紹BP網路的學習演算法的時候會進行進一步的介紹。
單極性S型函式曲線如下圖所示。

f(x)=11+e−x
這裡寫圖片描述

雙極性S型函式曲線如下圖所示。
f(x)=1−e−x1+e−x
這裡寫圖片描述

3.3 BP網路的學習演算法

BP網路的學習演算法就是BP演算法，又叫 δ 演算法（在ANN的學習過程中我們會發現不少具有多個名稱的術語），以三層感知器為例，當網路輸出與期望輸出不等時，存在輸出誤差 E ，定義如下

E=12(d−O)2=12∑ℓκ=1(dk−ok)2

將以上誤差定義式展開至隱層，有

E=12∑ℓκ=1[dκ−f(netκ)]2=12∑ℓκ=1[dκ−f(∑mj=0ωjκyj)]2

進一步展開至輸入層，有

E=12∑ℓκ=1dκ−f[∑mj=0

BP神經網路原理及matlab例項

概述

BP演算法的基本思想