原文連結： http://mp.weixin.qq.com/s?__biz=MzI1NTE4NTUwOQ==&mid=2650324665&idx=1&sn=3022e7e75a4bad0acdde36fe3edf565e&scene=5&srcid=0603Le1GYOSbqw1m7oU5BdxF#rd

從CNN 發展到 FCN ，從有監督訓練到end to end,  通常CNN網路在卷積層之後會接上若干個全連線層, 將卷積層產生的特徵圖(feature map)對映成一個固定長度的特徵向量。以AlexNet為代表的經典CNN結構適合於影象級的分類和迴歸任務，因為它們最後都期望得到整個輸入影象的一個數值描述, 比如AlexNet的ImageNet模型輸出一個1000維的向量表示輸入影象屬於每一類的概率(softmax歸一化)。例如，下圖中的貓, 輸入AlexNet, 得到一個長為1000的輸出向量, 表示輸入影象屬於每一類的概率, 其中在“tabby cat”這一類響應最高。

 而Lonjong等發表在CVPR2015的論文提出了全卷積網路（FCN）進行畫素級的分類從而高效的解決了語義級別的影象分割（semantic segmentation）問題。與經典的CNN在卷積層之後使用全連線層得到固定長度的特徵向量進行分類（全聯接層＋softmax輸出）不同，FCN可以接受任意尺寸的輸入影象，採用反捲積層對最後一個卷積層的feature map進行上取樣, 使它恢復到輸入影象相同的尺寸，從而可以對每個畫素都產生了一個預測, 同時也保留了原始輸入影象中的空間資訊, 最後在上取樣的特徵圖上進行逐畫素分類。論文中逐畫素計算softmax分類的損失, 相當於每一個畫素對應一個訓練樣本。由於步長（stride）不為一的卷積層和池化層產生的特徵圖（feature map）大小會有一些向下取整操作, 導致最後的feature map大小與原圖不是嚴格的倍數關係。例如對如下的一個pooling層,            {                name:"pool1"                type: "Pooling"                bottom: "conv1_2"                top: "pool1"                pooling_param {                  kernel_size: 2                  stride:　2                }              }       前層輸入大小為 11x11 的特徵圖, 其輸出的特徵圖大小為(11 - 2) / 2 + 1 = 5, 並不是輸入大小11的整數倍。上取樣不能完全保證最後的perpixel prediction 結果與原圖大小嚴格相同, 因此在上取樣（Deconvlution）之後會有一個

crop層, 將上取樣的結果進行裁剪, 使之大小與輸入影象嚴格相等。要想保證是畫素級別的預測就必須保證是輸出的影象跟輸入的影象大小完全相等。    下圖是Longjon用於語義分割所採用的全卷積網路（FCN)的結構示意圖, 在Alexnet基礎上, 最後的channel=4096的feature map經過一個1x1的卷積層, 變為channel=21的feature map, 然後經過上取樣和crop, 變為與輸入影象同樣大小的channel=21的feature map, 也就是圖中的pixel-wise prediction。 在Longjon的試驗中一共有20個語義類別, 加上背景類別每個畫素應該有21個softmax預測類, 因此pixel-wise prediction中channel=21。
綜上,我理解的整體的思路就是輸入影象，然後卷積－>下采樣－>卷積－> 下采樣 。。。 得到足夠多的feature map --> 上取樣 -->crop對齊-->對整個矩陣進行softmax(畫素級別的分類）-->然後我也不知道怎麼做了......