損失函式通過torch.nn包實現，

1 基本用法

criterion = LossCriterion() #建構函式有自己的引數
loss = criterion(x,y) #呼叫標準時也有引數

2 損失函式

2-1 L1範數損失 L1Loss

計算 output 和 target 之差的絕對值。

torch.nn.L1Loss(reduction='mean')

引數：

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值； sum:返回loss的和。預設：mean。

2-2 均方誤差損失 MSELoss

計算 output 和 target 之差的均方差。

torch.nn.MSELoss(reduction='mean')

引數：

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值； sum:返回loss的和。預設：mean。

2-3 交叉熵損失 CrossEntropyLoss

當訓練有 C 個類別的分類問題時很有效. 可選引數 weight 必須是一個1維 Tensor,權重將被分配給各個類別. 對於不平衡的訓練集非常有效。

在多分類任務中，經常採用 softmax 啟用函式+交叉熵損失函式，因為交叉熵描述了兩個概率分佈的差異，然而神經網路輸出的是向量，並不是概率分佈的形式。所以需要 softmax啟用函式將一個向量進行“歸一化”成概率分佈的形式，再採用交叉熵損失函式計算 loss。

torch.nn.CrossEntropyLoss(weight=None,ignore_index=-100,reduction='mean')

引數：

weight (Tensor,optional) – 自定義的每個類別的權重. 必須是一個長度為 C 的 Tensor
ignore_index (int,optional) – 設定一個目標值,該目標值會被忽略,從而不會影響到 輸入的梯度。
reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值； sum:返回loss的和。預設：mean。

2-4 KL 散度損失 KLDivLoss

計算 input 和 target 之間的 KL 散度。KL 散度可用於衡量不同的連續分佈之間的距離,在連續的輸出分佈的空間上(離散取樣)上進行直接回歸時 很有效.

torch.nn.KLDivLoss(reduction='mean')

引數：

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值； sum:返回loss的和。預設：mean。

2-5 二進位制交叉熵損失 BCELoss

二分類任務時的交叉熵計算函式。用於測量重構的誤差,例如自動編碼機. 注意目標的值 t[i] 的範圍為0到1之間.

torch.nn.BCELoss(weight=None,optional) – 自定義的每個 batch 元素的 loss 的權重. 必須是一個長度為 “nbatch” 的 的 Tensor

pos_weight(Tensor,optional) – 自定義的每個正樣本的 loss 的權重. 必須是一個長度 為 “classes” 的 Tensor

2-6 BCEWithLogitsLoss
BCEWithLogitsLoss損失函式把 Sigmoid 層整合到了 BCELoss 類中. 該版比用一個簡單的 Sigmoid 層和 BCELoss 在數值上更穩定,因為把這兩個操作合併為一個層之後,可以利用 log-sum-exp 的 技巧來實現數值穩定.

torch.nn.BCEWithLogitsLoss(weight=None,reduction='mean',pos_weight=None)

引數：
weight (Tensor,optional) – 自定義的每個 batch 元素的 loss 的權重. 必須是一個長度 為 “nbatch” 的 Tensor

pos_weight(Tensor,optional) – 自定義的每個正樣本的 loss 的權重. 必須是一個長度 為 “classes” 的 Tensor
2-7 MarginRankingLoss

torch.nn.MarginRankingLoss(margin=0.0,reduction='mean')

對於 mini-batch(小批量) 中每個例項的損失函式如下:





引數：
margin:預設值0
2-8 HingeEmbeddingLoss

torch.nn.HingeEmbeddingLoss(margin=1.0,reduction='mean')

對於 mini-batch(小批量) 中每個例項的損失函式如下:





引數：
margin:預設值1
2-9 多標籤分類損失 MultiLabelMarginLoss

torch.nn.MultiLabelMarginLoss(reduction='mean')

對於mini-batch(小批量) 中的每個樣本按如下公式計算損失:



2-10 平滑版L1損失 SmoothL1Loss
也被稱為 Huber 損失函式。

torch.nn.SmoothL1Loss(reduction='mean')




其中



2-11 2分類的logistic損失 SoftMarginLoss

torch.nn.SoftMarginLoss(reduction='mean')


2-12 多標籤 one-versus-all 損失 MultiLabelSoftMarginLoss

torch.nn.MultiLabelSoftMarginLoss(weight=None,reduction='mean')


2-13 cosine 損失 CosineEmbeddingLoss

torch.nn.CosineEmbeddingLoss(margin=0.0,reduction='mean')




引數：
margin:預設值0
2-14 多類別分類的hinge損失 MultiMarginLoss

torch.nn.MultiMarginLoss(p=1,margin=1.0,weight=None,reduction='mean')




引數：
p=1或者2 預設值：1

margin:預設值1
2-15 三元組損失 TripletMarginLoss

torch.nn.TripletMarginLoss(margin=1.0,p=2.0,eps=1e-06,swap=False,reduction='mean')




其中：



2-16 連線時序分類損失 CTCLoss
CTC連線時序分類損失，可以對沒有對齊的資料進行自動對齊，主要用在沒有事先對齊的序列化資料訓練上。比如語音識別、ocr識別等等。

torch.nn.CTCLoss(blank=0,reduction='mean')

引數：
reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值； sum:返回loss的和。預設：mean。
2-17 負對數似然損失 NLLLoss
負對數似然損失. 用於訓練 C 個類別的分類問題.

torch.nn.NLLLoss(weight=None,從而不會影響到 輸入的梯度.

2-18 NLLLoss2d
對於圖片輸入的負對數似然損失. 它計算每個畫素的負對數似然損失.

torch.nn.NLLLoss2d(weight=None,optional) – 自定義的每個類別的權重. 必須是一個長度為 C 的 Tensor

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值； sum:返回loss的和。預設：mean。

2-19 PoissonNLLLoss
目標值為泊松分佈的負對數似然損失

torch.nn.PoissonNLLLoss(log_input=True,full=False,eps=1e-08,reduction='mean')

引數：
log_input (bool,optional) – 如果設定為 True,loss 將會按照公 式 exp(input) - target * input 來計算,如果設定為 False,loss 將會按照 input - target * log(input+eps) 計算.

full (bool,optional) – 是否計算全部的 loss,i. e. 加上 Stirling 近似項 target * log(target) - target + 0.5 * log(2 * pi * target).

eps (float,optional) – 預設值: 1e-8
參考資料
pytorch loss function 總結
到此這篇關於Pytorch十九種損失函式的使用詳解的文章就介紹到這了,更多相關Pytorch 損失函式內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們！