1. 程式人生 > >ELM極限學習機

ELM極限學習機

梯度 傳統 size 期望 參數 節點 學習 target 所有

  

極限學習機(Extreme Learning Machine) ELM,是由黃廣斌提出來的求解神經網絡算法。ELM最大的特點是對於傳統的神經網絡,尤其是單隱層前饋神經網絡(SLFNs),ELM比傳統的學習算法速度更快。

ELM是一種新型的快速學習算法,對於單隱層神經網絡,ELM 可以隨機初始化輸入權重和偏置並得到相應的輸
出權重。對於一個單隱層神經網絡,假設有技術分享個任意的樣本技術分享,其中技術分享技術分享。對於一個有技術分享個隱層節點的單隱層神經網絡可以表示為

技術分享

其中,技術分享為激活函數,技術分享為輸入權重,技術分享為輸出權重,技術分享是第技術分享個隱層單元的偏置。技術分享表示技術分享技術分享的內積。

單隱層神經網絡學習的目標是使得輸出的誤差最小,可以表示為

技術分享

即存在技術分享技術分享技術分享,使得

技術分享

可以表示為

技術分享

其中技術分享是隱層節點的輸出,技術分享為輸出權重,技術分享為期望輸出。

技術分享

為了能夠訓練單隱層神經網絡,我們希望得到技術分享技術分享使得

技術分享

其中技術分享,這等價於最小化損失函數

技術分享

傳統的一些基於梯度下降法的算法,如BP學習算法及其變種,可以用來求解這樣的問題,但是基本的基於梯度的學習算法需要在叠代的過程中調整所有參數。而在ELM算法中, 一旦輸入權重技術分享和隱層的偏置技術分享被隨機確定,隱層的輸出矩陣技術分享就被唯一確定。訓練單隱層神經網絡可以轉化為求解一個線性系統技術分享。並且輸出權重技術分享可以被確定

技術分享

其中,技術分享是矩陣技術分享的Moore-Penrose廣義逆。且可證明求得的解技術分享的範數是最小的並且唯一。

極限學習機的代碼下載:點擊打開鏈接

ELM極限學習機