一、卷積神經網路

卷積神經網路（ConvolutionalNeuralNetwork，CNN）最初是為解決影象識別等問題設計的，CNN現在的應用已經不限於影象和視訊，也可用於時間序列訊號，比如音訊訊號和文字資料等。CNN作為一個深度學習架構被提出的最初訴求是降低對影象資料預處理的要求，避免複雜的特徵工程。在卷積神經網路中，第一個卷積層會直接接受影象畫素級的輸入，每一層卷積（濾波器）都會提取資料中最有效的特徵，這種方法可以提取到影象中最基礎的特徵，而後再進行組合和抽象形成更高階的特徵，因此CNN在理論上具有對影象縮放、平移和旋轉的不變性。

卷積神經網路CNN的要點就是區域性連線（LocalConnection）、權值共享（WeightsSharing）和池化層（Pooling）中的降取樣（Down-Sampling）。其中，區域性連線和權值共享降低了引數量，使訓練複雜度大大下降並減輕了過擬合。同時權值共享還賦予了卷積網路對平移的容忍性，池化層降取樣則進一步降低了輸出引數量並賦予模型對輕度形變的容忍性，提高了模型的泛化能力。可以把卷積層卷積操作理解為用少量引數在影象的多個位置上提取相似特徵的過程。

二、程式碼實現

import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.utils.data as Data
import torchvision
import matplotlib.pyplot as plt

torch.manual_seed(1)

EPOCH = 1
BATCH_SIZE = 50
LR = 0.001
DOWNLOAD_MNIST = True

# 獲取訓練集dataset
training_data = torchvision.datasets.MNIST(
             root='./mnist/', # dataset儲存路徑
             train=True, # True表示是train訓練集，False表示test測試集
             transform=torchvision.transforms.ToTensor(), # 將原資料規範化到（0,1）區間
             download=DOWNLOAD_MNIST,
             )

# 列印MNIST資料集的訓練集及測試集的尺寸
print(training_data.train_data.size())
print(training_data.train_labels.size())
# torch.Size([60000, 28, 28])
# torch.Size([60000])

plt.imshow(training_data.train_data[0].numpy(), cmap='gray')
plt.title('%i' % training_data.train_labels[0])
plt.show()

# 通過torchvision.datasets獲取的dataset格式可直接可置於DataLoader
train_loader = Data.DataLoader(dataset=training_data, batch_size=BATCH_SIZE,
                               shuffle=True)

# 獲取測試集dataset
test_data = torchvision.datasets.MNIST(root='./mnist/', train=False)
# 取前2000個測試集樣本
test_x = Variable(torch.unsqueeze(test_data.test_data, dim=1),
                  volatile=True).type(torch.FloatTensor)[:2000]/255
# (2000, 28, 28) to (2000, 1, 28, 28), in range(0,1)
test_y = test_data.test_labels[:2000]

class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv1 = nn.Sequential( # (1,28,28)
                     nn.Conv2d(in_channels=1, out_channels=16, kernel_size=5,
                               stride=1, padding=2), # (16,28,28)
        # 想要con2d卷積出來的圖片尺寸沒有變化, padding=(kernel_size-1)/2
                     nn.ReLU(),
                     nn.MaxPool2d(kernel_size=2) # (16,14,14)
                     )
        self.conv2 = nn.Sequential( # (16,14,14)
                     nn.Conv2d(16, 32, 5, 1, 2), # (32,14,14)
                     nn.ReLU(),
                     nn.MaxPool2d(2) # (32,7,7)
                     )
        self.out = nn.Linear(32*7*7, 10)

    def forward(self, x):
        x = self.conv1(x)
        x = self.conv2(x)
        x = x.view(x.size(0), -1) # 將（batch，32,7,7）展平為（batch，32*7*7）
        output = self.out(x)
        return output

cnn = CNN()
print(cnn)
'''
CNN (
  (conv1): Sequential (
    (0): Conv2d(1, 16, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
    (1): ReLU ()
    (2): MaxPool2d (size=(2, 2), stride=(2, 2), dilation=(1, 1))
  )
  (conv2): Sequential (
    (0): Conv2d(16, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
    (1): ReLU ()
    (2): MaxPool2d (size=(2, 2), stride=(2, 2), dilation=(1, 1))
  )
  (out): Linear (1568 -> 10)
)
'''
optimizer = torch.optim.Adam(cnn.parameters(), lr=LR)
loss_function = nn.CrossEntropyLoss()

for epoch in range(EPOCH):
    for step, (x, y) in enumerate(train_loader):
        b_x = Variable(x)
        b_y = Variable(y)

        output = cnn(b_x)
        loss = loss_function(output, b_y)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        if step % 100 == 0:
            test_output = cnn(test_x)
            pred_y = torch.max(test_output, 1)[1].data.squeeze()
            accuracy = sum(pred_y == test_y) / test_y.size(0)
            print('Epoch:', epoch, '|Step:', step,
                  '|train loss:%.4f'%loss.data[0], '|test accuracy:%.4f'%accuracy)

test_output = cnn(test_x[:10])
pred_y = torch.max(test_output, 1)[1].data.numpy().squeeze()
print(pred_y, 'prediction number')
print(test_y[:10].numpy(), 'real number')
'''
Epoch: 0 |Step: 0 |train loss:2.3145 |test accuracy:0.1040
Epoch: 0 |Step: 100 |train loss:0.5857 |test accuracy:0.8865
Epoch: 0 |Step: 200 |train loss:0.0600 |test accuracy:0.9380
Epoch: 0 |Step: 300 |train loss:0.0996 |test accuracy:0.9345
Epoch: 0 |Step: 400 |train loss:0.0381 |test accuracy:0.9645
Epoch: 0 |Step: 500 |train loss:0.0266 |test accuracy:0.9620
Epoch: 0 |Step: 600 |train loss:0.0973 |test accuracy:0.9685
Epoch: 0 |Step: 700 |train loss:0.0421 |test accuracy:0.9725
Epoch: 0 |Step: 800 |train loss:0.0654 |test accuracy:0.9710
Epoch: 0 |Step: 900 |train loss:0.1333 |test accuracy:0.9740
Epoch: 0 |Step: 1000 |train loss:0.0289 |test accuracy:0.9720
Epoch: 0 |Step: 1100 |train loss:0.0429 |test accuracy:0.9770
[7 2 1 0 4 1 4 9 5 9] prediction number
[7 2 1 0 4 1 4 9 5 9] real number
'''
 

三、分析解讀

通過利用torchvision.datasets可以快速獲取可以直接置於DataLoader中的dataset格式的資料，通過train引數控制是獲取訓練資料集還是測試資料集，也可以在獲取的時候便直接轉換成訓練所需的資料格式。

卷積神經網路的搭建通過定義一個CNN類來實現，卷積層conv1，conv2及out層以類屬性的形式定義，各層之間的銜接資訊在forward中定義，定義的時候要留意各層的神經元數量。

CNN的網路結構如下：

CNN (

  (conv1): Sequential (

    (0): Conv2d(1, 16,kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))

    (1): ReLU ()

    (2): MaxPool2d (size=(2,2), stride=(2, 2), dilation=(1, 1))

  )

  (conv2): Sequential (

    (0): Conv2d(16, 32,kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))

    (1): ReLU ()

    (2): MaxPool2d (size=(2,2), stride=(2, 2), dilation=(1, 1))

  )

  (out): Linear (1568 ->10)

)

經過實驗可見，在EPOCH=1的訓練結果中，測試集準確率可達到97.7%。