1. 程式人生 > >【優化】logistic和softmax代價函式

【優化】logistic和softmax代價函式

這兩種代價函式都能夠把(,)上的誤差/置信度/代價對映到(0,1)之間。

logistic函式

輸入為標量z

σ(z)=ez1+ez=11+ez

常用於二分類問題的代價項。也稱為sigmoid函式。
這裡寫圖片描述

softmax函式

輸入為向量z={zk}k=1:K

σ(z)k=ezkΣKk=1ezk

常用於多類分類問題的代價項。

下圖示出K=5時,softmax函式的輸入(藍色柱)和輸出(紅色曲線)
這裡寫圖片描述