1. 程式人生 > >神經網絡與遺傳算法

神經網絡與遺傳算法

訓練 進化 誤差 算法 三種方式 變量 比較 正常 ola

神經網絡是用來處理 非線性關系的,輸入和輸出之間的關系可以確定(存在非線性關系),可以利用神經網絡的自我學習(需要訓練數據集 用明確的輸入和輸出),訓練後權值確定,就可以測試新的輸入了。

遺傳算法是用來解決最值問題的,生物進化、優勝略汰。更靈活沒有限制,唯一的難處就是 編碼染色體 和評價函數的選擇。

兩者的結合可以從兩個方面確定:

第一種,輔助結合方式:用GA對數據進行預處理,然後用NN解決問題,例如模式識別用GA進行特征提取,再用nn進行分類

第二種,合作,GA和NN共同處理問題,在NN固定的網絡拓撲下,利用GA確定鏈接權重,或者直接利用GA優選網絡結構再用,bp訓練網絡。

首先,NN和GA輔助結合方式:

按照GA在配合NN 處理可題過程中出現的不同階段,分為以下三種方式:
1.在模式分類應用中進行數據預處理,利用GA進行特征提取,其後用NN進行分類;
2.在訓練網絡方面,利用GA選擇網絡學習參數或學習規則;
3.利用GA解釋或分析神經網絡.

1.在模式分類應用中進行數據預處理
一般地講,特征提取的成功與否對模式分類結果起關鍵作用.利用GA為NN選擇訓練數據是一門新的技術.Kelly和Davisll 利用GA 選擇數據集的參數和每一特征的尺度因子,藉此來縮小數據間類內的差別,加大類間的差別,從而大大改進了網絡對模式分類性能.Chang和Lippmannll 在一個復雜的語音識別事例中不僅把原來153個特征利用GA壓縮到33個特征,而且利用GA合成新的特征.這樣,通過特征壓縮不僅改進了神經網絡分類的性能,而且計算量也大大減少.類似地,Guo和Uhrlg也利用GA提取特征的辦法訓練NN來監控棱電廠的意外事故,模擬實驗證實了這種方法的有效性。所不同的是,他們的適合度函數除了考慮訓練誤差之外,還考慮了所選擇的輸入個數.

利用進化的思想,對BP算法參數,如學習率,矩等進行自適應調節,是進化學習規則的最初嘗試、Harp等人 將BP算法參數和網絡結構一同編碼在染色體中,通過進化操作,從而得到BP算法和網絡結構的最優組合,這種編碼方法,實質上也是對學習算法和網絡結構間相互作用的研究.Belew等人則在預先固定網絡結構的情況下,用GA優選學習率及矩,結果表明用GA得出的學習率總是高於經驗采用的數值.他們推測出現這個結果的原因是實驗采用的學習次數相對較低.他們的研究工作實質上是通過對學習算法本身參數的調節來達到學習算法的優化,而對於比學習算法的優化更深層次上的學習規則(即權重更新規則)的優化,僅被有限的研究者所探討.雖然Hebb學習規則被廣泛采納並用作許多學習算法的基礎.然而Hancockn 等人最近研究表明,在Artola E。 等人工作基礎上的另一個學習規則同優化Hebb學習規則相比更加有效.因為與此比較,它不僅能學習更多的模式,而且除了能學習正常模式,也能學習異常模式 因而對於具體的網絡和應用對象發展自動優化網絡學習規則的方法無疑是十分誘人的.

人類的學習能力從相對較弱到十分強大的進化過程表明把進化機制引入神經網絡的學習具有巨大的潛力.在人工生命領域中有些研究則體現了學習與進化的相互關系, 然而大部分工作集中在學習如何指導進化或是結構訓練和權重訓練間的關系等方面.對於學習規則的進化僅受到了一定程度的註意.而Chalmers 在此方面則進行了初步的嘗試,他假定網絡權重的更新只取決於局部信息,如輸入、輸出信號、訓練信號以及當前連接權重,而學習規則則表示為這四個獨立變量及它們間兩兩乘積的線性函數.這10個變量的系數和一個尺度參數編碼在染色體中,學習規則進化的目標是確定這些系數.實驗中所采用的網絡結構不含隱層,僅有一個輸出節點,網絡的輸入從2個到7個不等,用各種線性可分的學習事例對它們進行測試、評價學習規則.GA 最終發現了眾所周知的8規則和它的一些變形,這些簡單而初步的實驗表明通過學習規則進化發現新奇、有用學習規則的潛力,然而學習規則形式上的約束,即僅含二個變量的乘積而不包括三個、四個變量的乘積,也可能妨礙GA發現一些新的學習規則.

3.利用GA解釋、分析神經網絡
不同於利用GA 設計NN,一些研究人員也嘗試著用GA 來解釋、分析神經網絡Suzuki和Kakazu在分析相關聯想記憶模型的吸引域中使用了GA.在吸引域中記憶過程呈現單調變化現象,為了分析這種現象,他們把此現象的基本特征抽象為一十多項式函數,然後用GA優化出多項式的系數.而Eberhart等人則借助GA來分析神經網絡的決策表面,為神經網絡的解釋提供了一個新選徑.

神經網絡與遺傳算法