機器學習中的常見問題——損失函式
阿新 • • 發佈:2019-01-02
一、分類演算法中的損失函式
在分類演算法中,損失函式通常可以表示成損失項和正則項的和,即有如下的形式:
其中,
對於損失項,主要的形式有:
- 0-1損失
- Log損失
- Hinge損失
- 指數損失
- 感知損失
1、0-1損失函式
在分類問題中,可以使用函式的正負號來進行模式判斷,函式值本身的大小並不是很重要,0-1損失函式比較的是預測值
以上的函式等價於下述的函式:
0-1損失並不依賴
2、Log損失函式
2.1、Log損失
Log損失是0-1損失函式的一種代理函式,Log損失的具體形式如下:
運用Log損失的典型分類器是Logistic迴歸演算法。
2.2、Logistic迴歸演算法的損失函式
對於Logistic迴歸演算法,分類器可以表示為:
其中,
1、似然函式
其中,
2、log似然
3、需要求解的是使得log似然取得最大值的