上一篇文章簡單介紹了卷積神經網路的結構，本篇文章則會利用上一篇文章的理論知識搭建神經網路模型來識別CIFAR-10影象。

2.Keras卷積神經網路識別CIFAR-10影象

首先簡單介紹一下什麼是CIFAR-10，CIFAR-10是是用於物件識別的已建立的計算機視覺資料集。它是8000萬個微小影象資料集的一個子集，由60,000個32x32彩色影象組成，包含10個物件類別中的一個，每個類別有6000個影象。它由Alex Krizhevsky，Vinod Nair和Geoffrey Hinton收集。其中，這10個物件類別分別是飛機，汽車，鳥，貓，鹿，狗，青蛙，馬，船，卡車。

2.1資料預處理

（1）首先匯入所需要的模組和資料

from keras.datasets import cifar10  #下載CIFAR-10資料集
import numpy as np
np.random.seed(10)        #設定seed產生需要的隨機數
import matplotlib.pyplot as plt
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense,Dropout,Activation,Flatten
from keras.layers import Conv2D,
 
MaxPooling2D,ZeroPadding2D
import pandas as pd

（2）讀取下載的資料集

(x_img_train,y_label_train),(x_img_test,y_label_test)=cifar10.load_data()

我們看一下訓練集與測試集的影象和標籤的大小和形狀

print(x_img_train.shape)
print(y_label_train.shape)
print(x_img_test.shape)
print(y_label_test.shape)

執行結果

可以看到，訓練集中有50000個大小為32x32的三原色圖，而測試集有10000個大小為32x32的三原色圖，最後那個3代表影象是一個RGB三原色圖。

（3) 建立一個dict，定義每一個數字所代表的影象類別的名稱

label_dict={0:'airplay',1:'automobile',2:'bird',3:'cat',4:'deer',5:'dog',6:'frog',7:'horse',8:'ship',9:'truck'}

為了方便檢視多項資料的images，labels和prediction，所以定義一個名為plot_images_labels_prediction的函式來實現目的

def plot_images_labels_prediction(images,labels,prediction,idx,num=10):#images為影象，labels為標籤，prediction為預測，idx為要開始顯示的影象的索引，num為要顯示影象的數量，預設是10，最多25
    fig=plt.gcf()
    fig.set_size_inches(12,14) #設定畫布大小為12x14英寸
    if num>25:         #設定最多可以顯示25張圖片
        num=25
    for i in range(0,num):
        ax=plt.subplot(5,5,1+i)
        ax.imshow(images[idx],cmap='binary')
        title=str(i)+".labels:"+label_dict[labels[i][0]] #label[i][0]即為第i個影象所屬的類別
        if len(prediction)>0:
            title=title+",prediction:"+label_dict[prediction[i]]
        ax.set_title(title,fontsize=10)
        ax.set_xticks([])
        ax.set_yticks([])
        idx+=1
    plt.show()

（4）分別將訓練集和測試集中的影象進行標準化轉換，這樣做可以提高模型預測的準確度，並且更快收斂。

x_img_train_normalize=x_img_train.astype('float32')/255.0
x_img_test_normalize=x_img_test.astype('float32')/255.0

（5）將label以一位有效編碼進行轉換，即轉換為10個由0和1組成的組合，分別代表10個不同的分類。例如0000000000代表airplay，0100000000代表automobile。

y_label_train_OneHot=np_utils.to_categorical(y_label_train)
y_label_test_OneHot=np_utils.to_categorical(y_label_test)

2.2建立卷積神經網路並訓練模型

在模型中我們交替增加三個卷積層，三個池化層，每個卷積層進行兩次卷積運算，然後再增加全連線層(包括一個平坦層，兩個隱藏層和一個輸出層)，並且在每個卷積層和池化層之間增加，兩個隱藏層之間增加一個Dropout功能，其目的是選擇性地放棄一些神經元，防止模型過擬合。模型架構及說明如下圖所示：

（1）首先建立一個Sequential線性堆疊模型，後續要增加捲積層，池化層，全連線層的話，只需直接呼叫add()方法即可。

model=Sequential()

（2）三個卷積層的卷積核大小均為3x3，第一個卷積層卷積核個數為32，第二個卷積層卷積核個數為64，第三個卷積層卷積核個數為128，每個卷積層均作兩次卷積運算。

model.add(Conv2D(filters=32,kernel_size=(3,3),input_shape=(32,32,3),activation='relu',padding='same'))  #卷積層1第一次卷積運算
model.add(Dropout(0.3))
model.add(Conv2D(filters=32,kernel_size=(3,3),activation='relu',padding='same')) #卷積層1第二次卷積運算
model.add(MaxPooling2D(pool_size=(2,2)))#池化層1
model.add(Conv2D(filters=64,kernel_size=(3,3),activation='relu',padding='same'))#卷積層2第一次卷積運算
model.add(Dropout(0.3))
model.add(Conv2D(filters=64,kernel_size=(3,3),activation='relu',padding='same'))#卷積層2第二次卷積運算
model.add(MaxPooling2D(pool_size=(2,2)))#池化層2
model.add(Conv2D(filters=128,kernel_size=(3,3),activation='relu',padding='same'))#卷積層3第一次卷積運算
model.add(Dropout(0.3))
model.add(Conv2D(filters=128,kernel_size=(3,3),activation='relu',padding='same'))#卷積層3第二次卷積運算
model.add(MaxPooling2D(pool_size=(2,2)))#池化層3

model.add(Flatten())  #建立平坦層
model.add(Dropout(0.3))
model.add(Dense(2500,activation='relu'))  #第一個隱藏層，共有2500個神經元
model.add(Dropout(0.3))
model.add(Dense(1500,activation='relu'))  #第二個隱藏層，共有1500個神經元
model.add(Dropout(0.3))
model.add(Dense(10,activation='softmax')) #輸出層，共有10個輸出，代表10個不同的類別

以下為各引數的說明

訓練前還要設定損失函式，優化器，評估模型的方式

model.compile(loss='categorical_crossentropy',optimizer='adam',metrics=['accuracy'])

（3）為了增加準確率，我們設定訓練週期數為50。訓練時間和電腦本身效能有關，博主的電腦是i5 6300HQ+GTX960M的，因為運算量大，所以使用GPU來完成訓練

train_history=model.fit(x_img_train_normalize,y_label_train_OneHot,validation_split=0.2,epochs=50,batch_size=300,verbose=1)

由於截圖太長，只截了部分

在這裡可以看到，訓練大概用了不到20分鐘，博主之前試過用CPU進行訓練，時間大約是這個的8倍，可見GPU的平行計算能力是十分強大的！

接下來，定義一個函式來查看準確率的變化

def show_train_history(train_history,train,validation):
    plt.plot(train_history.history[train])
    plt.plot(train_history.history[validation])
    plt.title("Train History")
    plt.xlabel("Epoch")
    plt.ylabel("Accuracy")
    plt.legend(['train','validation'],loc='upper left')
    plt.show()

看下訓練過程中準確率的變化

show_train_history(train_history,'acc','val_acc')

執行結果

可以看到訓練的準確率不是很高，想要提高準確率可能要增加捲積核的數目，或者是卷積層的數目等。

2.3檢視訓練結果並對測試集進行預測

前面通過構建卷積神經網路訓練了模型，下面用訓練得到的模型對測試集進行預測。

先來看下預測準確率

scores=model.evaluate(x_img_test_normalize,y_label_test_OneHot,verbose=0)

模型的預測準確率為0.7959，但損失函式也達到了0.78.

（1）用以下指令進行結果預測

prediction=model.predict_classes(x_img_test_normalize)

看下前10個影象的預測結果

prediction[:10]

可以看到第一張圖的預測結果是3，第二張圖的預測結果是8。。。。。
（2）檢視每張圖的預測概率

Predicted_Probability=model.predict(x_img_test_normalize) #計算每張圖片被預測為某個類的概率

我們可以定義一個函式來檢視每張圖片被預測為某個類的概率

def show_Predicted_Probability(y,prediction,x_img,Predicted_Probability,i):
    print('label:',label_dict[y[i][0]],'prediction:',label_dict[prediction[i]])
    plt.figure(figsize=(2,2))
    plt.imshow(np.reshape(x_img[i],(32,32,3)))
    plt.show()
    for j in range(10):
        print(label_dict[j]+' probability:%1.9f'%Predicted_Probability[i][j])

我們隨便看一張圖

show_Predicted_Probability(y_label_test,prediction,x_img_test,Predicted_Probability,60)

執行結果如圖

可以看到被預測為馬的概率最高，被預測為鹿的概率次之，被預測為青蛙的概率為最低，被預測為其它類的概率為零。

我們看一個被預測錯誤的影象

for i in range (0,10000):
    if(y_label_test[i]!=prediction[i]):
        show_Predicted_Probability(y_label_test,prediction,x_img_test,Predicted_Probability,i)
        break

可以看到被預測為“貓”的概率最高，但正確結果卻是“汽車”，預測有誤了。

（3）建立混淆矩陣，作進一步分析
我們需要把y_label_test和prediction組合建立一個混淆矩陣，但由文章的開頭得知，y_label_test是一個二維陣列，所以要把它轉換為一維陣列才行。

y_label_tset=y_label_test.reshape(-1)
y_label_test.shape

執行結果

建立混淆矩陣

print(label_dict)
pd.crosstab(y_label_test,prediction,rownames=['label'],colnames=['prediction'])

執行結果

仔細觀察分析，我們可以得出一些結論

１.　　在識別錯誤的影象中， label值是”5“，但prediction是”3“的錯誤數量最多，即”狗“容易被誤識別為”貓“，同樣，label值是”3“，但prediction是”5“的數量次之，即”貓“也容易被誤識別為”狗“，據說識別”貓“和”狗“這個問題吳恩達大大做得很好，大家可以去百度看下。
2.　　在2，3，4，5，6，7這六個類別中，被識別成1和9的概率最低，也就是說2（鳥），3（貓），4（鹿），5（狗），6（蛙），7（馬）這些動物被識別為1（汽車）和9（卡車）的概率很低。
3.　　在8（船）和9（卡車）中，被預測為0（飛機）和1（汽車）的概率很高，即交通工具容易被預測為交通工具，動物容易被預測為動物。

2.4模型儲存

將訓練得到的模型儲存起來

model.save_weights("CIFAR-10 Model.h5")
print("Save model successfuly")

模型將會儲存在你當前的工作目錄下。

另外，儲存模型後，如果下一次要用這個模型，使用以下方法載入模型

try:
	model.load_weights("CIFAR-10 Model.h5")
	print("Load model successfuly")
except:
	print("Load model error")

（完）

參考書籍：

《TensorFlow+Keras深度學習人工智慧實踐應用》林大貴 著

《圖解深度學習》