2. 程式人生 > >長短期記憶網路LSTM(matlab)

長短期記憶網路LSTM(matlab)

阿新 • • 發佈：2019-01-22
if(n~=1)
    %% 更新weight_input_x
    temp=train(1:input_num,n)'*W_input_x+h_state(:,n-1)'*W_input_h;
    for num=1:output_num
        for m=1:data_length
            delta_weight_input_x(m,:)=2*(W_preh_h(:,num)*error(num,1))'.*output_gate.*(ones(size(cell_state(:,n)))-tanh(cell_state(:,n)).^2)'.*input_gate.*(ones(size(temp))-tanh(temp.^2))*train(m,n);
        end
        W_input_x=W_input_x-lr*delta_weight_input_x;
    end
    %% 更新weight_forgetgate_x
    for num=1:output_num
        for m=1:data_length
            delta_weight_forgetgate_x(m,:)=2*(W_preh_h(:,num)*error(num,1))'.*output_gate.*(ones(size(cell_state(:,n)))-tanh(cell_state(:,n)).^2)'.*cell_state(:,n-1)'.*exp(-forget_gate_input).*(forget_gate.^2)*train(m,n);
        end
        W_forgetgate_x=W_forgetgate_x-lr*delta_weight_forgetgate_x;
    end
    %% 更新weight_inputgate_c
    for num=1:output_num
        for m=1:cell_num
            delta_weight_inputgate_c(m,:)=2*(W_preh_h(:,num)*error(num,1))'.*output_gate.*(ones(size(cell_state(:,n)))-tanh(cell_state(:,n)).^2)'.*gate.*exp(-input_gate_input).*(input_gate.^2)*cell_state(m,n-1);
        end
        W_inputgate_c=W_inputgate_c-lr*delta_weight_inputgate_c;
    end
    %% 更新weight_forgetgate_c
    for num=1:output_num
        for m=1:cell_num
            delta_weight_forgetgate_c(m,:)=2*(W_preh_h(:,num)*error(num,1))'.*output_gate.*(ones(size(cell_state(:,n)))-tanh(cell_state(:,n)).^2)'.*cell_state(:,n-1)'.*exp(-forget_gate_input).*(forget_gate.^2)*cell_state(m,n-1);
        end
        W_forgetgate_c=W_forgetgate_c-lr*delta_weight_forgetgate_c;
    end
    %% 更新weight_outputgate_c
    for num=1:output_num
        for m=1:cell_num
            delta_weight_outputgate_c(m,:)=2*(W_preh_h(:,num)*error(num,1))'.*tanh(cell_state(:,n))'.*exp(-output_gate_input).*(output_gate.^2)*cell_state(m,n-1);
        end
        W_outputgate_c=W_outputgate_c-lr*delta_weight_outputgate_c;
    end
    %% 更新weight_input_h
    temp=train(1:input_num,n)'*W_input_x+h_state(:,n-1)'*W_input_h;
    for num=1:output_num
        for m=1:output_num
            delta_weight_input_h(m,:)=2*(W_preh_h(:,num)*error(num,1))'.*output_gate.*(ones(size(cell_state(:,n)))-tanh(cell_state(:,n)).^2)'.*input_gate.*(ones(size(temp))-tanh(temp.^2))*h_state(m,n-1);
        end
        W_input_h=W_input_h-lr*delta_weight_input_h;
    end
else
    %% 更新weight_input_x
    temp=train(1:input_num,n)'*W_input_x;
    for num=1:output_num
        for m=1:data_length
            delta_weight_input_x(m,:)=2*(W_preh_h(:,num)*error(num,1))'.*output_gate.*(ones(size(cell_state(:,n)))-tanh(cell_state(:,n)).^2)'.*input_gate.*(ones(size(temp))-tanh(temp.^2))*train(m,n);
        end
        W_input_x=W_input_x-lr*delta_weight_input_x;
    end
end
W_preh_h=weight_preh_h_temp;
end

相關推薦

長短期記憶網路LSTM(matlab)

if(n~=1)     %% 更新weight_input_x     temp=train(1:input_num,n)'*W_input_x+h_state(:,n-1)'*W_input_h;     for num=1:output_num         for m=1:data_length  

長短期記憶（LSTM）系列_LSTM的建模方法（2）——如何堆疊多層LSTM網路

導讀： 堆疊式LSTM屬於深度學習，通過新增網路的深度，提高訓練的效率，獲得更高的準確性。 文中介紹了堆疊式LSTM的架構和實現方法 在堆疊式LSTM中，層與層的輸數出通過return_sequences = True引數修改成3D資料，以便供下一層網路使用。 為什麼要增加深度？

長短期記憶（LSTM）系列_LSTM的建模方法（1）——生成式LSTM網路,Encoder-Decoder LSTM網路,CNN LSTM（LRCN）網路建模介紹

導讀 文中介紹了三種LSTM的建模應用，分別是生成式LSTM網路，Encoder-Decoder LSTM網路，CNN LSTM（LRCN）網路。 大致介紹了一下每種網路的建模方法和應用場景，這裡僅做了解即可 原文連結： 生成性長短期記憶網路 編碼器 - 解碼器長短期儲存

長短期記憶（LSTM）系列_LSTM的資料準備（4）——如何歸一化標準化長短期記憶網路的資料

導讀： 在訓練神經網路（例如長短期記憶復現神經網路）時，可能需要縮放序列預測問題的資料。 當輸入資料序列分佈並不標準，或者變化幅度（標準差）過大時，這會減慢網路的學習和收斂速度，也會阻礙網路的學習效率。 因此您需要了解如何歸一化和標準化序列預測資料，以及如何確定將哪中形式用於輸入和輸出變

長短期記憶（LSTM）系列_LSTM的資料準備（1）——如何重塑Keras中長短期記憶體網路的輸入資料

LSTM輸入層 LSTM輸入層由網路的第一個隱藏層上的“ input_shape ”引數指定。 這會讓初學者感到困惑。 例如，下面是具有一個隱藏的LSTM層和一個密集輸出層的網路的示例。 model = Sequential() model.add(LSTM(

長短期記憶（LSTM）系列_2.1~2.3、用遞迴神經網路簡要介紹序列預測模型

前置課程 https://machinelearningmastery.com/sequence-prediction/ https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-network

長短期記憶（LSTM）系列_1.1、迴歸神經網路在時間序列預測中的介紹和應用

摘要，通過本文你可以學到： 傳統的時間序列預測方法側重於具有線性關係的單變數資料以及固定和手動診斷的時間依賴性。 神經網路增加了學習可能的噪聲和非線性關係的能力，其中任意定義但固定數量的輸入和輸出支援多變數和多步預測。 遞迴神經網路增加了有序觀察的顯式處理和從上下文學習時間依賴

長短期記憶網路（LSTM）的基礎知識、邏輯結構、實際物理結構

一、LSTM的基礎知識 輸入層：(batch_size, time_steps, input_dim) LSTM輸入層的維度是3 （1）batch_size：量級——每次訓練輪次（batch）中資料量大小 （2）time_steps：時間維度——每個訓練批次（batch）中單個輸入資

長短期記憶網路（Long Short-Term Memory，LSTM）及其變體雙向LSTM和GRU

LSTM（Long Short-Term Memory）長短期記憶網路，是一種時間遞迴神經網路，適合於處理和預測時間序列中間隔和延遲相對較長的重要事件。LSTM是解決迴圈神經網路RNN結構中存在的“梯度消失”問題而提出的，是一種特殊的迴圈神經網路。最常見的一個例子就是：當我們

LSTM - 長短期記憶網路

## 迴圈神經網路(RNN) 人們不是每一秒都從頭開始思考，就像你閱讀本文時，不會從頭去重新學習一個文字，人類的思維是有持續性的。傳統的卷積神經網路沒有記憶，不能解決這一個問題，迴圈神經網路(Recurrent Neural Networks)可以解決這一個問題，在迴圈神經網路中，通過迴圈可以解決沒有記憶的

長短期記憶（LSTM）系列_LSTM的建模方法（3）——如何判斷LSTM模型的過度擬合和欠擬合

導讀： 本文主要講了一些模型中一個常見的問題，訓練不足和過度擬合。 過度擬合指的是由於訓練資料過少，或者對訓練集訓練的次數過多，導致模型的結果不是找到所有資料的一般共有特性，而是僅對訓練資料進行了特徵提取。換句話說，這個模型已經記住了所有的訓練資料，對訓練資料的預測效果非常好，但對其他資料的

長短期記憶（LSTM）系列_LSTM的資料準備（7）——總結（完結）

以下是 《長短期記憶（LSTM）系列_LSTM的資料準備》 專題的概況圖 本專題包含6篇文章： 長短期記憶（LSTM）系列_LSTM的資料準備（1）——如何重塑Keras中長短期記憶體網路的輸入資料 長短期記憶（LSTM）系列_LSTM的資料準備（2）——如何編寫OneH

長短期記憶（LSTM）系列_LSTM的資料準備（6）——如何處理序列預測問題中的缺失時間步長（附兩個完整LSTM例項）

導讀： 本文討論分析了輸入資料中，有資料缺失的情況如何處理 一般有兩種情況，分別是對缺失值進行替換和學習，忽略對缺失值的學習 同時文章演示了對於缺失值得補全方法。 文末附帶兩個LSTM程式碼，比較了兩種對缺失值不同處理方式的網路模型優劣 正文： 通常從序列資料中缺少觀察結果。 資料可

長短期記憶（LSTM）系列_LSTM的資料準備（5）——如何配置Keras中截斷反向傳播預測的輸入序列步長

導讀： 這篇文章是介紹了BPTT的概念，說明了資料截斷的原因和方法，即提高網路的學習效率。以及如何找到最好的截斷方法，即利用網格搜尋。 文中都是一些概念介紹，這裡直接把原文貼上來了。 原文連結：https://machinelearningmastery.com/truncated-ba

長短期記憶（LSTM）系列_LSTM的資料準備（3）——如何使用差分法消除資料的趨勢和季節性

導讀： 我們的很多資料是具有季節性或者趨勢性的，就是隨著時間越來越久，資料隨著一個趨勢來變化，這種內在的趨勢對資料的預測有一定的影響。那麼怎麼來消除這個影響呢？ 我們可以使用差分法，差分法簡單說就是在一系列資料中，相鄰兩個相減得到相鄰兩個值的變化量，我們在進行資料分析的過程中，只對差分之後的

長短期記憶（LSTM）系列_LSTM的資料準備（2）——如何編寫OneHotEncoder（熱編碼）序列資料

導讀： 什麼是熱編碼，原意是OneHotEncoder，OneHotEncoder就是把一些有意義的文字或符號轉換成及其能讀懂的語言。 我們有時想對一系列有意義的資料進行處理或者預測，但這種有意義的資料不一定是數字，有可能是英文，漢字，標記，我們可以對其分類，然後用特定的數字編碼（代替）他們

長短期記憶（LSTM）系列_3.1~3.3、第一個LSTM小例子：Keras中長短期記憶模型的5個核心步驟（python）

  本文是演示了一個最簡單的LSTM模型的構建，以0.1~0.9序列為例，做了一個預測的小例項，文章最後我新增了一個測試集，重新使用訓練的模型進行一次預測，詳細程式碼以及註釋見文末。 後續的3.2和3.3課程是一組課程的學習目錄，以及作者自己新書的推薦，3.2章節會在後續學習中更新

Keras中長短期記憶網路LSTM的5步生命週期

                           Keras中長短期記憶網路LSTM的5步生命週期        

長短期記憶（LSTM）-tensorflow程式碼實現

作者：Jason 時間：2017.10.17 長短期記憶（LSTM）神經網路是之前講的RNN的一種升級版本，我們先來聊聊RNN的弊端。 RNN的弊端 之前我們說過, RNN 是在有順序的資料上進行學習的. 為了記住這些資料, RNN 會

長短時記憶網路(LSTM)基礎

往期回顧 在上一篇文章中，我們介紹了迴圈神經網路以及它的訓練演算法。我們也介紹了迴圈神經網路很難訓練的原因，這導致了它在實際應用中，很難處理長距離的依賴。在本文中，我們將介紹一種改進之後的迴圈神經網路：長短時記憶網路(Long Short Term Memory