1. 程式人生 > >目標檢測中Loss函式:Focal Loss反向求導

目標檢測中Loss函式:Focal Loss反向求導

focal Loss梯度求導的鏈式法則:轉載: https://blog.csdn.net/linmingan/article/details/77885832     反向傳播網路的工作過程是首先進行資訊的前饋,計算出各個節點的輸入輸出值,網路最終的輸出,並把各個節點的輸入輸出值進行儲存,利用損失函式求出最終的損失,然後進行損失的反向傳播,在損失反向傳播的過程中實際上是對各個節點的輸出進行求梯度,那麼在這個過程中我們發現用到的值都是之前前饋過程中的輸入輸出值,只要推匯出計算公式,就可以直接利用儲存的中間變數實現反向傳播的梯度求解,然後是對各個權值進行更新,在更新的過程中會用到先前求解的對於各個節點輸出梯度。


其中的分母的平方是整體的平方,先來看看softmax是如何求導的: