深度學習之損失函式
阿新 • • 發佈:2019-01-04
1.Softmax + Cross Entropy Loss(交叉熵)(加入交叉熵的原因是考慮到數值的穩定性)
損失函式:
適應場景:單標籤分類問題
該損失函式各個標籤之間不獨立
2.Sigmoid Cross Entropy Loss
損失函式:
L維多標籤場景的損失函式為:
使用場景:預測目標概率分佈,可用於多標籤學習(如社會年齡估計)
注意:1.目標輸出需要歸一化到【0,1】;損失層的輸出要有具體的意義;各個標籤之間相互獨立即每一維是獨立的。
3.Euclidean Loss(歐氏損失)
損失函式:
適用場景:實數值迴歸問題
注意:歐氏損失前可以增加Sigmoid操作進行歸一化,相應的輸出標籤也歸一化。
4.Contrastive Loss(Siamess Net)
損失函式:
適用場景:人臉測度學習
5.Center loss(softMax的一種改進)
6.Triplet Loss
適用場景:learning to rank ;人臉識別(FaceNet)
7.Moon Loss
Basic Idea:考慮多標籤分類中訓練和測試階段樣本分佈的不平衡
對每個屬性計算概率:
混合損失函式:
8.Focal Loss
Basic Idea:用一個權重條件函式去降低易分樣本對損失的貢獻
解決方案:
適用場景:解決one-stage的目標檢測中背景樣本和前景樣本的不平衡問題
9.Large-Margin Loss(softmax的改進)
Basic Idea:在SoftMax Loss中通過約束權重矩陣的夾角引入Margin正則