1. 程式人生 > 實用技巧 >Regularizing Class-wise Predictions via Self-knowledge Distillation

Regularizing Class-wise Predictions via Self-knowledge Distillation

解決的問題是影象分類模型的過擬合,做法利用類class-wise 正則化項。思想是比如上圖,這個思想簡單的作為KL散度中不動的一方,下面這個背景複雜的作為動的一方,在類別預測的概率分佈上進行蒸餾,過濾掉黑暗知識。一個模型,兩個不同的樣本但是類別是一致的,帶有標籤。
在這裡插入圖片描述