1. 程式人生 > >L1和L2範式

L1和L2範式

知識 tin gis res 學習 sdn 一個 們的 ssi

監督機器學習問題無非就是再規則化參數的同時最小化誤差。

  • *最小化誤差是為了讓我們的模型擬合我們的訓練數據,而規則化參數是防止我們的模型過分擬合我們的訓練數據

規則化參數的作用:

  • *使得模型簡單,且具有好的泛化性能(也就是測試誤差小)
  • *將人對這個模型的先驗知識融入到模型的學習當中,使得模型具有稀疏、低秩、平滑等等特性。

規則化符合奧卡姆剃刀原理

  • *思想:在所有可能選擇的模型中,我們應該選擇很好地解釋已知數據並且十分簡單的模型。規則化是結構風險最小化策略的實現,是在經驗風險上加了一個正則化項(regularizer)或者懲罰項(penalty term).

一般監督學習可以看做最小化下面的目標函數:

技術分享
- *機器學習大部分模型目標函數基本都是如此,無非就是變換這兩項而已。
-第一項LOSS函數:
– square loss, 那就是最小二乘;
– log-Loss, 那就是Logistic Regression;
–Hinge Loss, 那就是SVM;
–exp-Losss, 那就是牛逼的Boosting了;

L1和L2範式