Pytorch實現LSTM和GRU示例
為了解決傳統RNN無法長時依賴問題,RNN的兩個變體LSTM和GRU被引入。
LSTM
Long Short Term Memory,稱為長短期記憶網路,意思就是長的短時記憶,其解決的仍然是短時記憶問題,這種短時記憶比較長,能一定程度上解決長時依賴。
上圖為LSTM的抽象結構,LSTM由3個門來控制,分別是輸入門、遺忘門和輸出門。輸入門控制網路的輸入,遺忘門控制著記憶單元,輸出門控制著網路的輸出。最為重要的就是遺忘門,可以決定哪些記憶被保留,由於遺忘門的作用,使得LSTM具有長時記憶的功能。對於給定的任務,遺忘門能夠自主學習保留多少之前的記憶,網路能夠自主學習。
具體看LSTM單元的內部結構:
在每篇文章中,作者都會使用和標準LSTM稍微不同的版本,針對特定的任務,特定的網路結構往往表現更好。
GRU
上述的過程的線性變換沒有使用偏置。隱藏狀態引數不再是標準RNN的4倍,而是3倍,也就是GRU的引數要比LSTM的引數量要少,但是效能差不多。
Pytorch
在Pytorch中使用nn.LSTM()可呼叫,引數和RNN的引數相同。具體介紹LSTM的輸入和輸出:
輸入: input,(h_0,c_0)
input:輸入資料with維度(seq_len,batch,input_size)
h_0:維度為(num_layers*num_directions,hidden_size),在batch中的
初始的隱藏狀態.
c_0:初始的單元狀態,維度與h_0相同
輸出:output,(h_n,c_n)
output:維度為(seq_len,num_directions * hidden_size)。
h_n:最後時刻的輸出隱藏狀態,維度為 (num_layers * num_directions,hidden_size)
c_n:最後時刻的輸出單元狀態,維度與h_n相同。
LSTM的變數:
以MNIST分類為例實現LSTM分類
MNIST圖片大小為28×28,可以將每張圖片看做是長為28的序列,序列中每個元素的特徵維度為28。將最後輸出的隱藏狀態 作為抽象的隱藏特徵輸入到全連線層進行分類。最後輸出的
匯入標頭檔案:
import torch import torch.nn as nn import torch.optim as optim import torchvision from torchvision import transforms
class Rnn(nn.Module): def __init__(self,in_dim,hidden_dim,n_layer,n_classes): super(Rnn,self).__init__() self.n_layer = n_layer self.hidden_dim = hidden_dim self.lstm = nn.LSTM(in_dim,batch_first=True) self.classifier = nn.Linear(hidden_dim,n_classes) def forward(self,x): out,c_n) = self.lstm(x) # 此時可以從out中獲得最終輸出的狀態h # x = out[:,-1,:] x = h_n[-1,:,:] x = self.classifier(x) return x
訓練和測試程式碼:
transform = transforms.Compose([ transforms.ToTensor(),transforms.Normalize([0.5],[0.5]),]) trainset = torchvision.datasets.MNIST(root='./data',train=True,download=True,transform=transform) trainloader = torch.utils.data.DataLoader(trainset,batch_size=128,shuffle=True) testset = torchvision.datasets.MNIST(root='./data',train=False,transform=transform) testloader = torch.utils.data.DataLoader(testset,batch_size=100,shuffle=False) net = Rnn(28,10,2,10) net = net.to('cpu') criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(),lr=0.1,momentum=0.9) # Training def train(epoch): print('\nEpoch: %d' % epoch) net.train() train_loss = 0 correct = 0 total = 0 for batch_idx,(inputs,targets) in enumerate(trainloader): inputs,targets = inputs.to('cpu'),targets.to('cpu') optimizer.zero_grad() outputs = net(torch.squeeze(inputs,1)) loss = criterion(outputs,targets) loss.backward() optimizer.step() train_loss += loss.item() _,predicted = outputs.max(1) total += targets.size(0) correct += predicted.eq(targets).sum().item() print(batch_idx,len(trainloader),'Loss: %.3f | Acc: %.3f%% (%d/%d)' % (train_loss/(batch_idx+1),100.*correct/total,correct,total)) def test(epoch): global best_acc net.eval() test_loss = 0 correct = 0 total = 0 with torch.no_grad(): for batch_idx,targets) in enumerate(testloader): inputs,targets.to('cpu') outputs = net(torch.squeeze(inputs,1)) loss = criterion(outputs,targets) test_loss += loss.item() _,predicted = outputs.max(1) total += targets.size(0) correct += predicted.eq(targets).sum().item() print(batch_idx,len(testloader),'Loss: %.3f | Acc: %.3f%% (%d/%d)' % (test_loss/(batch_idx+1),total)) for epoch in range(200): train(epoch) test(epoch)
以上這篇Pytorch實現LSTM和GRU示例就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。