1. 前言

在機器學習中，不同的問題對應了不同的損失函式，不同的損失函式也直接會影響到收斂的快慢和結果的好壞，下面就從不同的損失函式的角度進行一下梳理。

2. 0-1損失函式

0-1損失是指，預測值和目標值不相等為1，否則為0

3. log對數損失函式

邏輯迴歸的損失函式就是對數損失函式，在邏輯迴歸的推導中，它假設樣本服從伯努利分佈（0-1）分佈，然後求得滿足該分佈的似然函式，接著用對數求極值。邏輯迴歸並沒有求對數似然函式的最大值，而是把極大化當做一個思想，進而推導它的風險函式為最小化的負的似然函式。從損失函式的角度上，它就成為了log損失函式。
log損失函式的標準形式：

\[ L(Y,P(Y|X))=-logP(Y|X) \]

4. 平方損失函式

最小二乘法是線性迴歸的一種方法，它將回歸的問題轉化為了凸優化的問題。最小二乘法的基本原則是：最優擬合曲線應該使得所有點到迴歸直線的距離和最小。通常用歐幾里得距離進行距離的度量。平方損失的損失函式為：

\[ L(Y|f(X))=\sum_N(Y-f(X))^2 \]

5. 指數損失函式

AdaBoost就是一指數損失函式為損失函式的。
指數損失函式的標準形式：

\[ L(Y|f(X))=exp[-yf(x)] \]

6. Hinge損失函式（合頁損失函式）

Hinge損失函式和SVM是息息相關的。線上性支援向量機中，最優化問題可以等價於

\[ min\sum_i^N(1-y_i(w^Tx_i+b))_++λ||w||^2 \]

7. 損失函式比較

（歡迎轉載，轉載請註明出處。歡迎溝通交流： [email protected]）