HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL DEEP CONVOLUTIONAL NEURAL NETWORK

論文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7730324

1、文章簡介：

該論文是用雙通道卷積神經網絡CNN分別提取空譜信息，然後將得到的抽象特征級聯為全連接層的輸入，以此作為空譜聯合信息輸入兩層全連接層以及softmax層。此外，文中針對小樣本問題，引入了遷移學習。

工作貢獻：“與手工特征提取相比，所提出的深度模型可以自適應地學習光譜 - 空間聯合特征，其包含來自光譜和空間域的語義和判別信息。 此外，學習的特征可以轉移到不同的數據或任務[9]。 當訓練樣本有限時，可以從其他場景的模型轉移底層和中層，只需要從有限的訓練樣本中訓練前幾層。 這樣，即使在小的訓練樣本情況下，所提出的方法也可以很好地執行。”

2、算法簡介：

3.1 從網絡結構上說：

①文中首先構造了兩個通道分別提取空譜特征：

Ⅰ、光譜通道：輸入是一個以像素點為單位的一維數據，經過1-D cnn和1-D pooling堆疊處理，輸出一個特征向量。

Ⅱ、空間通道：以預測像素點為中心的空間鄰域，沿光譜軸做平均，得到一個二維數據作為該通道輸入，經過2-D cnn和2-D pooling堆疊處理，輸出一個特征向量。

（ps：文中說每個波段不可避免含有噪聲，且“將噪聲建模為具有零均值的高斯噪聲”，沿光譜維取平均具有“融合所有波段的空間信息並抑制噪聲”功能。）

②利用空譜聯合特征進行預測標簽：

將第①步中得到的兩個特征向量級聯，作為空譜聯合特征，然後接兩層全連接層，然後經過softmax層進行預測標簽。

3.2 從訓練上說：

“為了提高有限訓練樣本情況下的分類性能，我們使用來自其他遙感場景的標記樣本訓練網絡，然後將底層和中層傳輸到當前場景的網絡，並使用以下方法對頂部完全連接的層進行微調。 有限的標簽樣本。”

3、實驗結果和分析：

對於Indian Pines高光譜數據：

其中training sample指的是每類選取的訓練樣本數，文中指出，萬一某類的樣本數不夠，只要在此類中選取一半的樣本數量去訓練。

two-CNN就是使用上述網絡結構，但不用遷移學習的算法。

two-CNN-transfer就是是用來網絡結構還用遷移學習，其中遷移數據只訓練底層和中層的權值，然後帶上全連接層用真實數數據微調後測試。

“雖然Indian pines和Salinas Valley之間的土地覆蓋類型存在巨大差異，但從薩利納斯山谷學到的低水平和中等水平特征可以在印度松樹上重復使用，因為低和中特征反映了當地的空間結構 ，這在不同的場景和任務中是通用的。 轉移層為Indian pines上的雙CNN訓練提供了良好的初始化，並導致分類的改進。但是，隨著訓練樣本數量的增加，深層模型可以從當前場景中學到足夠的信息，學到的功能可能比遷移的功能更好，這可以解釋當訓練樣本數為200時雙CNN遷移學習的性能減少。”

ps：我覺得論文裏某些公式寫的挺好，後面寫論文可參考

例如：損失函數：

網絡結構說明：

HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL DEEP CONVOLUTIONAL NEURAL NETWORK閱讀筆記