神經網絡理論基礎
人工神經網絡（簡稱神經網絡，Neural Network）是模擬人腦思維方式的數學模型。 神經網絡是在現代生物學研究人腦組織成果的基礎上提出的，用來模擬人類大腦神經網絡的結構和行為。神經網絡反映了人腦功能的基本特征，如並行信息處理、學習、聯想、模式分類、記憶等。
一、神經網絡的分類
目前神經網絡模型的種類相當豐富，已有近40余種神經網絡模型。
典型的神經網絡有多層前向傳播網絡 （BP網絡）、Hopfield網絡、CMAC小腦模型、ART網絡、BAM雙向聯想記憶網絡、SOM自組織網絡、Blotzman機網絡和Madaline網絡等。
根據神經網絡的連接方式，神經網絡可分為兩種形式：
（1）前向網絡
如圖所示，神經元分層排列，組成輸入層、隱含層和輸出層。每一層的神經元只接受前一層神經元的輸入。輸入模式經過各層的順次變換後，由輸出層輸出。在各神經元之間不存在反饋。感知器和誤差反向傳播網絡采用前向網絡形式。
（2）反饋網絡
該網絡結構在輸出層到輸入層存在反饋，即每一個輸入節點都有可能接受來自外部的輸入和來自輸出神經元的反饋。這種神經網絡是一種反饋動力學系統，它需要工作一段時間才能達到穩定。
Hopfield神經網絡是反饋網絡中最簡單且應用最廣泛的模型，它具有聯想記憶的功能，如果將Lyapunov函數定義為尋優函數，Hopfield神經網絡還可以解決尋優問題。
(3) 自組織網絡
網絡結構如圖所示。Kohonen網絡是最典型的自組織網絡。Kohonen認為，當神經網絡在接受外界輸入時，網絡將會分成不同的區域，不同區域具有不同的響應特征，即不同的神經元以最佳方式響應不同性質的信號激勵，從而形成一種拓撲意義上的特征圖，該圖實際上是一種非線性映射。這種映射是通過無監督的自適應過程完成的，所以也稱為自組織特征圖。
Kohonen網絡通過無導師的學習方式進行權值的學習，穩定後的網絡輸出就對輸入模式生成自然的特征映射，從而達到自動聚類的目的。
二、神經網絡學習算法
神經網絡學習算法是神經網絡智能特性的重要標誌，神經網絡通過學習算法，實現了自適應、自組織和自學習的能力。
目前神經網絡的學習算法有多種，按有無導師分類，可分為有教師學習（Supervised Learning）、無教師學習（Unsupervised Learning）和再勵學習（Reinforcement Learning）等幾大類。
在有教師的學習方式中，網絡的輸出和期望的輸出（即教師信號）進行比較，然後根據兩者之間的差異調整網絡的權值，最終使差異變小。在無教師的學習方式中，輸入模式進入網絡後，網絡按照一預先設定的規則（如競爭規則）自動調整權值，使網絡最終具有模式分類等功能。
再勵學習是介於上述兩者之間的一種學習方式。
三、最基本的神經網絡學習算法：
1、Hebb學習規則
Hebb學習規則是一種聯想式學習算法。生物學家D.O.Hebbian基於對生物學和心理學的研究，認為兩個神經元同時處於激發狀態時，它們之間的連接強度將得到加強，這一論述的數學描述被稱為Hebb學習規則，即
Hebb學習規則是一種無教師的學習方法，它只根據神經元連接間的激活水平改變權值，因此，這種方法又稱為相關學習或並聯學習。
2、Delta（δ）學習規則
假設誤差準則函數為：
上式稱為δ學習規則，又稱誤差修正規則。
四、神經網絡特征及要素
1. 神經網絡特征
神經網絡具有以下幾個特征：
（1）能逼近任意非線性函數；
（2）信息的並行分布式處理與存儲；
（3）可以多輸入、多輸出；
（4）便於用超大規模集成電路（VISI）或光學集成電路系統實現，或用現有的計算機技術實現；
（5）能進行學習，以適應環境的變化
2 、神經網絡要素
決定神經網絡模型性能的三大要素為：
（1）神經元（信息處理單元）的特性；
（2）神經元之間相互連接的形式—拓撲結構；
（3）為適應環境而改善性能的學習規則。
神經網絡理論基礎