ELM極限學習機
阿新 • • 發佈:2017-09-15
梯度 傳統 size 期望 參數 節點 學習 target 所有
極限學習機(Extreme Learning Machine) ELM,是由黃廣斌提出來的求解神經網絡算法。ELM最大的特點是對於傳統的神經網絡,尤其是單隱層前饋神經網絡(SLFNs),ELM比傳統的學習算法速度更快。
ELM是一種新型的快速學習算法,對於單隱層神經網絡,ELM 可以隨機初始化輸入權重和偏置並得到相應的輸
出權重。對於一個單隱層神經網絡,假設有個任意的樣本,其中,。對於一個有個隱層節點的單隱層神經網絡可以表示為
其中,為激活函數,為輸入權重,為輸出權重,是第個隱層單元的偏置。表示和的內積。
單隱層神經網絡學習的目標是使得輸出的誤差最小,可以表示為
即存在,和,使得
可以表示為
其中是隱層節點的輸出,為輸出權重,為期望輸出。
為了能夠訓練單隱層神經網絡,我們希望得到和使得
其中,這等價於最小化損失函數
傳統的一些基於梯度下降法的算法,如BP學習算法及其變種,可以用來求解這樣的問題,但是基本的基於梯度的學習算法需要在叠代的過程中調整所有參數。而在ELM算法中, 一旦輸入權重和隱層的偏置被隨機確定,隱層的輸出矩陣就被唯一確定。訓練單隱層神經網絡可以轉化為求解一個線性系統。並且輸出權重可以被確定
其中,是矩陣的Moore-Penrose廣義逆。且可證明求得的解的範數是最小的並且唯一。
極限學習機的代碼下載:點擊打開鏈接
ELM極限學習機