 【題目】
程式設計實現視覺化卷積神經網路的特徵圖，並探究影象變換(平移，旋轉，縮放等）對特徵圖的影響。選擇AlexNet等經典CNN網路的Pre-trained模型，視覺化每個卷積層的特徵圖（網路輸入圖片自行選擇）。其中，第一層全部視覺化，其餘層選取部分特徵圖進行視覺化。然後對影象進行變換，觀察影象變換後特徵圖的變化。

 【方法概述】
本次實驗使用了VGG-f作為預先載入的模型，通過MATLAB中的load方法將imagenet-vgg-f中的引數載入程序序。
imagenet-vgg-f是一個21層的卷積神經網路，其引數在ImageNet資料集上進行了訓練。它的網路結構包括了5層卷積層、3層全連線層，輸出的類別可達1000種。網路結構圖太長了放在文章最後。

實驗中共有6個輸入影象，分別是原圖input.jpg以及對它進行平移、縮放、旋轉、水平翻轉、垂直翻轉後的影象

首先將輸入影象進行歸一化操作，也就是將圖片resize到網路的標準輸入大小224*224，並且將圖片的每個畫素與均值圖片的每個畫素相減，再輸入網路。
接下來，視覺化卷積核的時候，將網路第一層卷積核的引數net.layers{1}.weights{1}提取出來，並使用vl_imarraysc函式進行視覺化。第一層卷積核的3個通道在視覺化的過程中就被當作RGB三個通道。
對於feature map的視覺化任務，需要先使用vl_simplenn將圖片輸入神經網路並獲取其輸出結果。我們需要視覺化的是每個卷積層後經過ReLU的結果，每個輸入影象對應5個特徵圖。

 【結果分析】
由於卷積核的引數是預訓練得到的，與輸入圖片無關，所以只展現一幅圖就夠了。如下圖所示，第一層卷積核學到了圖片中一些基礎性的特徵，比如各種方向的邊緣和角點。

下面展示的是原始圖片輸入後，5個卷積層的視覺化結果。需要說明的是，第二層之後的特徵圖數量較多，因此每層只選取了64個進行視覺化。另外，特徵圖是單通道的灰度圖片，為了視覺化的效果更好，我將灰度值對映到了“藍-黃”的顏色區間內，進行了偽彩色的處理，得到了如下的視覺化結果。

其中，第一層特徵圖的細節比較清晰和輸入圖片較為相似，提取出了輸入圖片的邊緣（包括刺蝟身上的刺）。第2、3、4層特徵圖的解析度較低，已經難以看出輸入圖片的特徵，但是可以發現有些特徵圖對背刺區域啟用顯著，有些特徵圖對刺蝟的外輪廓、背景等區域啟用顯著。可以猜測，它們提取了圖片中比邊緣和角點更高層的語義資訊。最後一層特徵圖中有少量對背刺區域啟用顯著，少量幾乎沒有被啟用。可以猜測，刺蝟的背刺特徵是網路判斷其類別的顯著特徵，因此被分類為刺蝟的圖片在最後一個特徵層的背刺區域啟用最為明顯。

 【對比分析】
由於篇幅限制，這裡只放置較小的略縮圖，高清圖片可以執行程式自行檢視。

我們先對比最清晰的第一層特徵圖的視覺化結果。
可以看出除了縮放的圖片以外，其他特徵圖都隨著輸入圖片的變化而變化：平移的圖片作為輸入，特徵圖也產生了相對的平移；翻轉、旋轉都有類似的效果。只有縮放的輸入圖片並不影響特徵圖的表現，其原因應該是VGG-f採用固定大小的輸入資料，因此不論圖片是否經過縮放，在輸入VGG-f之前都會被歸一化為同樣的大小，所以直觀上看並不影響特徵圖的表現。但是由於解析度的不同，經過resize之後的圖片可能會有畫素級別的細微差異，人眼不容易分辨出來。

從另一方面來說，雖然特徵圖對於輸入圖片的變換產生了相同的變換，但是特徵圖中的啟用區域並沒有顯著的變化。這說明VGG-f在圖片分類的任務中，對輸入圖片的大小、旋轉、翻轉、平移等變化是不敏感的，並不會顯著影響其分類結果的準確性。也說明了CNN網路具有一定程度的旋轉/平移不變性。


與第一層特徵圖類似，其他層的特徵圖也產生了類似的表現，即除了縮放的圖片以外，其他作用於輸入圖片的變換均體現在了特徵圖上。由於篇幅所限，這裡不再單獨放出。執行程式即可得到結果。

VGG-f網路結構圖