CNN學習筆記：目標函數
阿新 • • 發佈：2019-02-10
區間 soft clas 訓練 ron 顯示 div 標記 損失函數
CNN學習筆記：目標函數
分類任務中的目標函數
目標函數，亦稱損失函數或代價函數，是整個網絡模型的指揮棒，通過樣本的預測結果與真實標記產生的誤差來反向傳播指導網絡參數學習和表示學習。
假設某分類任務共N個訓練樣本，針對網絡最後分類層第i個樣本的輸入特征為xi，其對應的真實標記為yi∈{1,2,...,C}，另h=(h1,h2,...,hC)?為網絡的最終輸出，即樣本i的預測結果，其中C為分類任務類別數。交叉熵損失函數
交叉熵損失函數又稱為Softmax損失函數，是目前卷積神經網絡中最常用的分類目標函數，softmax用於多分類過程中，它將多個神經元的輸出，映射到（0,1）區間內，可以看成概率來理解，從而來進行多分類 ！
其形式為：
它能將一個含任意實數的K維向量 z “壓縮”到另一個K維實向量 σ ( z ) 中，使得每一個元素的範圍都在 ( 0 , 1 ) 之間，並且所有元素的和為1。
例如：輸入向量 [ 1 , 2 , 3 , 4 , 1 , 2 , 3 ] 對應的Softmax函數的值為 [ 0.024 , 0.064 , 0.175 , 0.475 , 0.024 , 0.064 , 0.175 。輸出向量中擁有最大權重的項對應著輸入向量中的最大值“4”。這也顯示了這個函數通常的意義：
對向量進行歸一化，凸顯其中最大的值並抑制遠低於最大值的其他分量。
更多：關於交叉熵的推導及理解，可以查看https://www.zhihu.com/question/23765351。
CNN學習筆記：目標函數