Pytorch 搭建分類迴歸神經網路並用GPU進行加速的例子

阿新 • • 發佈：2020-01-10

分類網路

import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt

# 構造資料
n_data = torch.ones(100,2)
x0 = torch.normal(3*n_data,1)
x1 = torch.normal(-3*n_data,1)
# 標記為y0=0，y1=1兩類標籤
y0 = torch.zeros(100)
y1 = torch.ones(100)

# 通過.cat連線資料
x = torch.cat((x0,x1),0).type(torch.FloatTensor)
y = torch.cat((y0,y1),0).type(torch.LongTensor)

# .cuda()會將Variable資料遷入GPU中
x,y = Variable(x).cuda(),Variable(y).cuda()

# plt.scatter(x.data.cpu().numpy()[:,0],x.data.cpu().numpy()[:,1],c=y.data.cpu().numpy(),s=100,lw=0,cmap='RdYlBu')
# plt.show()

# 網路構造方法一
class Net(torch.nn.Module):
 def __init__(self,n_feature,n_hidden,n_output):
 super(Net,self).__init__()
 # 隱藏層的輸入和輸出
 self.hidden1 = torch.nn.Linear(n_feature,n_hidden)
 self.hidden2 = torch.nn.Linear(n_hidden,n_hidden)
 # 輸出層的輸入和輸出
 self.out = torch.nn.Linear(n_hidden,n_output)

 def forward(self,x):
 x = F.relu(self.hidden2(self.hidden1(x)))
 x = self.out(x)
 return x

# 初始化一個網路，1個輸入層，10個隱藏層，1個輸出層
net = Net(2,10,2)

# 網路構造方法二
'''
net = torch.nn.Sequential(
 torch.nn.Linear(2,10),torch.nn.Linear(10,torch.nn.ReLU(),2),)
'''
# .cuda()將網路遷入GPU中
net.cuda()
# 配置網路優化器
optimizer = torch.optim.SGD(net.parameters(),lr=0.2)
# SGD: torch.optim.SGD(net.parameters(),lr=0.01)
# Momentum: torch.optim.SGD(net.parameters(),lr=0.01,momentum=0.8)
# RMSprop: torch.optim.RMSprop(net.parameters(),alpha=0.9)
# Adam: torch.optim.Adam(net.parameters(),betas=(0.9,0.99))

loss_func = torch.nn.CrossEntropyLoss()

# 動態視覺化
plt.ion()
plt.show()

for t in range(300):
 print(t)
 out = net(x)
 loss = loss_func(out,y)
 optimizer.zero_grad()
 loss.backward()
 optimizer.step()
 if t % 5 == 0:
 plt.cla()
 prediction = torch.max(F.softmax(out,dim=0),1)[1].cuda()
 # GPU中的資料無法被matplotlib利用，需要用.cpu()將資料從GPU中遷出到CPU中
 pred_y = prediction.data.cpu().numpy().squeeze()
 target_y = y.data.cpu().numpy()
 plt.scatter(x.data.cpu().numpy()[:,c=pred_y,cmap='RdYlBu')
 accuracy = sum(pred_y == target_y) / 200
 plt.text(1.5,-4,'accuracy=%.2f' % accuracy,fontdict={'size':20,'color':'red'})
 plt.pause(0.1)

plt.ioff()
plt.show()

迴歸網路

import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt

# 構造資料
x = torch.unsqueeze(torch.linspace(-1,1,100),dim=1)
y = x.pow(2) + 0.2*torch.rand(x.size())

# .cuda()會將Variable資料遷入GPU中
x,Variable(y).cuda()

# plt.scatter(x.data.numpy(),y.data.numpy())
# plt.show()

# 網路構造方法一
class Net(torch.nn.Module):
 def __init__(self,self).__init__()
 # 隱藏層的輸入和輸出
 self.hidden = torch.nn.Linear(n_feature,n_hidden)
 # 輸出層的輸入和輸出
 self.predict = torch.nn.Linear(n_hidden,x):
 x = F.relu(self.hidden(x))
 x = self.predict(x)
 return x
 
# 初始化一個網路，1個輸入層，10個隱藏層，1個輸出層
net = Net(1,1)

# 網路構造方法二
'''
net = torch.nn.Sequential(
 torch.nn.Linear(1,1),)
'''

# .cuda()將網路遷入GPU中
net.cuda()
# 配置網路優化器
optimizer = torch.optim.SGD(net.parameters(),lr=0.5)
# SGD: torch.optim.SGD(net.parameters(),0.99))

loss_func = torch.nn.MSELoss()

# 動態視覺化
plt.ion()
plt.show()

for t in range(300):
 prediction = net(x)
 loss = loss_func(prediction,y)
 optimizer.zero_grad()
 loss.backward()
 optimizer.step()
 if t % 5 == 0 :
 plt.cla()
 # GPU中的資料無法被matplotlib利用，需要用.cpu()將資料從GPU中遷出到CPU中
 plt.scatter(x.data.cpu().numpy(),y.data.cpu().numpy())
 plt.plot(x.data.cpu().numpy(),prediction.data.cpu().numpy(),'r-',lw=5)
 plt.text(0.5,'Loss=%.4f' % loss.item(),'color':'red'})
 plt.pause(0.1)

plt.ioff()
plt.show()