Softmax 函式及其作用(含推導)
阿新 • • 發佈:2018-12-30
Softmax函式的定義及作用
Softmax是一種形如下式的函式:
通過softmax函式,可以使得
但是,使得範圍在[0,1]之間的方法有很多,為啥要在前面加上以e的冪函式的形式呢?參考logistic函式:
這個函式的作用就是使得P(i)在負無窮到0的區間趨向於0,在0到正無窮的區間趨向於1。同樣,softmax函式加入了e的冪函式正是為了兩極化:正樣本的結果將趨近於1,而負樣本的結果趨近於0。這樣為多類別分類提供了方便(可以把P(i)看作是樣本屬於類別i的概率)。可以說,Softmax函式是logistic函式的一種泛化。
softmax的推導
雖然Softmax函式得到的是一個[0,1]之間的值,且
假設現在有K個類,樣本屬於類別i的概率為
引入一個k-1維列向量
因為y只能屬於1類,故(y不等於k時)T(y)只有一個元素為1,其餘元素都為0,則y的期望為:
令
所以
將
由於分母中是求和操作,可以將i換成k,得