2. 程式人生 > >L1、L2 正則項詳解 - 解空間、先驗分佈、最大似然估計 and 最大後驗估計

L1、L2 正則項詳解 - 解空間、先驗分佈、最大似然估計 and 最大後驗估計

阿新 • • 發佈：2019-01-01

L1、L2 正則項詳解（解空間、先驗分佈）

  • 引入

    線上性迴歸或其他模型中，我們經常使用正則項，例如：對普通線性迴歸新增 L1 正則項後就變為 Lasso 迴歸，對普通線性迴歸新增 L2 正則項後就變為 Ridge 迴歸。對於正則項，我們都知道 L2 正則項具有縮放型效應，可以讓模型引數更加平滑；L1 正則項具有截斷型效應，使得模型引數更加稀疏。那麼本文就對這現象的背後原理進行講解。

  • 直觀看

    首先對平滑與稀疏建立一個直觀的概念，稀疏意味著使模型引數等於 0，從而在模型內部嵌入式地進行特徵選擇,；而平滑則會盡量使引數小，但不等於 0，從而嵌入式地對特徵進行縮小。

    舉一個不嚴謹但直觀簡單的例子，方便理解：設 f ( x ; w

    ) f(x;w) 為經驗損失， L L 代表正則項， l
    ( x ; w ) = f ( x ; w ) + L l(x;w)=f(x;w)+L     為結構損失。假設此時使用梯度下降更新引數， μ μ 為學習率，則梯度為 μ ∂ f ( w ) ∂ w i − μ ∗ ∂ L ∂ w i μ\frac{\partial f(w)}{\partial w_i}-μ*\frac{\partial L}{\partial w_i} ，對於不同的正則項 μ ∂ f ( w ) ∂ w i μ\frac{\partial f(w)}{\partial w_i} 是相同的，我們暫時忽略，所以：

    1. 使用 L1 正則項，梯度為： μ ∂ ∑ i = 1 n ∣ w i ∣ ∂ w i = μ ∗ 1 = μ μ\frac{\partial \sum_{i=1}^{n}|w_i|}{\partial w_i}=μ*1=μ ， 梯度更新引數的表示式為： w i : = w i − μ ∗ 1 w_i:=w_i-μ*1 ，假設 μ = 0.5 μ=0.5 ，則 w i : = w i − 0.5 w_i:=w_i-0.5 ，所以 L1 意味著在更新引數時相當於一直減去一個定值，那麼終會有一時刻將 w i w_i 減為 0，那麼此時引數為 0，所以稀疏。
    2. 使用 L2 正則項，梯度為： 1 2 μ ∂ ∑ i = 1 n ( w i ) 2 ∂ w i = μ w i \frac{1}{2}μ\frac{\partial \sum_{i=1}^{n}(w_i)^2}{\partial w_i}=μw_i ， 梯度更新引數的表示式為： w i : = w i − μ w i w_i:=w_i-μw_i ，假設 μ = 0.5 μ=0.5 ，則 w i : = w i − 1 2 w i : = 1 2 w i w_i:=w_i-\frac{1}{2}w_i:=\frac{1}{2}w_i ，相當於每次的更新都是折半，則更新的影象為 log ⁡ 2 w i \log_2w_i ，所以只會趨近於 0，不會等於 0，趨於平滑。

    通過上面不正規的例子，我們隊稀疏性與平滑型有了直觀的理解，下面就開始正式的通過公式證明。

  • 解空間

    在優化過程中，我們希望在優化經驗損失 ∑ i = 1 n ( y i − w T x i ) 2 \sum_{i=1}^{n}(y_i-w^Tx_i)^2 的同時，還希望對模型的複雜度進行限制，約束引數的取值空間，從而達到防止過擬合的效果，那麼我們可以為優化問題加上一個約束，即引數 w w 的範數不能大於 C：

    對於 Lβ 範數： { m i n ∑ i = 1 n ( y i − w T x i ) 2 s . t . ∣ ∣ w ∣ ∣ β − C ≤ 0 ， β = 1 , 2 \begin{cases} min\sum_{i=1}^{n}(y_i-w^Tx_i)^2\\ s.t. ||w||_β-C \le 0，β=1,2\\ \end{cases}

    相關推薦

    L1、L2 正則項詳解 - 解空間、先驗分佈、最大似然估計 and 最大後驗估計

    L1、L2 正則項詳解（解空間、先驗分佈） 引入 直觀看 解空間 先驗分佈 最大似然估計 最大後驗估計 引入 線上性迴歸

    深入剖析迴歸（二）L1，L2正則項，梯度下降

    一、迴歸問題的定義 迴歸是監督學習的一個重要問題，迴歸用於預測輸入變數和輸出變數之間的關係。迴歸模型是表示輸入變數到輸出變數之間對映的函式。迴歸問題的學習等價於函式擬合：使用一條函式曲線使其很好的擬合已知函式且很好的預測未知資料。 迴歸問題分為模型的學習和預測兩個

    泛化能力、訓練集、測試集、K折交叉驗證、假設空間、欠擬合與過擬合、正則化（L1正則化、L2正則化）、超引數

    泛化能力（generalization）： 機器學習模型。在先前未觀測到的輸入資料上表現良好的能力叫做泛化能力（generalization）。 訓練集（training set）與訓練錯誤（training error）： 訓練機器學習模型使用的資料集稱為訓練集（tr

    為什麼L1正則項產生稀疏的權重，L2正則項產生相對平滑的權重

    L1 和L2正則項的定義如下： L1=∑i|wi|L2=∑i(wi)2 L 1 =

    L1、L2正則化

    過擬合：對於訓練集擬合效果非常好，但是對於訓練集以外的資料集擬合效果不好。通常發生在變數（特徵）較多的情況，也就是說曲線儘可能的滿足訓練資料集，導致無法泛化（泛化是指模型能夠應用到新樣本的能力）到新資料集中。解決辦法：減少樣本特徵、正則化（通常新增L2正則化） 欠擬合：模型

    L1、L2正則(Regularization )簡介

    過擬合就是隨著模型的複雜度的增加，訓練集上的正確率很高error很小，訓練集擬合的非常好，但是在測試集上面的錯誤率卻越來越高，效果很差，即模型的泛化能力很差； 而正則化是通過約束引數的範數使其不要太

    深入理解L1、L2正則化原理與作用

    art ida 似的 得來 .net 最優化問題 比較 nor 多維 過節福利，我們來深入理解下L1與L2正則化。 1 正則化的概念 正則化(Regularization) 是機器學習中對原始損失函數引入額外信息，以便防止過擬合和提高模型泛化性能的一類方法的統稱。也就是

    機器學習之路： python線性回歸 過擬合 L1與L2正則化

    擬合 python sco bsp orm AS score 未知數 spa git：https://github.com/linyi0604/MachineLearning 正則化： 提高模型在未知數據上的泛化能力 避免參數過擬合正則化常用的方法： 在目

    L1和L2正則化直觀理解

    正則化是用於解決模型過擬合的問題。它可以看做是損失函式的懲罰項，即是對模型的引數進行一定的限制。 應用背景： 當模型過於複雜，樣本數不夠多時，模型會對訓練集造成過擬合，模型的泛化能力很差，在測試集上的精度遠低於訓練集。 這時常用正則化來解決過擬合的問題，常用的正則化有L1正則化和L2

    L1，L2正則化

    正則化引入的思想其實和奧卡姆剃刀原理很相像，奧卡姆剃刀原理：切勿浪費較多東西，去做，用較少的東西，同樣可以做好的事情。 正則化的目的：避免出現過擬合（over-fitting） 經驗風險最小化 + 正則化項 = 結構風險最小化 經驗風險最小化（ERM），是為了讓擬合的誤差足夠小，即：對訓

    L1和L2正則化。L1為什麼能產生稀疏值，L2更平滑

    參考部落格：https://zhuanlan.zhihu.com/p/35356992 　　　　　https://zhuanlan.zhihu.com/p/25707761 　　　　　https://www.zhihu.com/question/37096933/answer/70426653 　　首先

    L1與L2正則化

    在機器學習中，我們茶廠聽到L1和L2正則化，用他們來防止過擬合，但是在什麼情況下使用它們和它們的原理是什麼樣的可能一知半解。所以在本部落格中將對L1和L2做簡單的介紹和應用場景。 如果引數過多，模型過於複雜，容易造成過擬合（overfit）。即模型在訓練樣本資料上表現的很好

    【通俗易懂】機器學習中 L1 和 L2 正則化的直觀解釋

    機器學習中，如果引數過多，模型過於複雜，容易造成過擬合（overfit）。即模型在訓練樣本資料上表現的很好，但在實際測試樣本上表現的較差，不具備良好的泛化能力。為了避免過擬合，最常用的一種方法是使用使用正則化，例如 L1 和 L2 正則化。但是，正則化項是如

    神經網路中的過擬合的原因及解決方法、泛化能力、L2正則化

    過擬合：訓練好的神經網路對訓練資料以及驗證資料擬合的很好，accuracy很高，loss很低，但是在測試資料上效果很差，即出現了過擬合現象。 過擬合產生的原因： （1）資料集有噪聲 （2）訓練資料不足 （3）訓練模型過度導致模型非常複雜 解決方法： （1）降低模型

    dropout和L1，L2正則化的理解筆記

    理解dropout from http://blog.csdn.net/stdcoutzyx/article/details/49022443 123 開篇明義，dropout是指在深度學習網路的訓練過程中，對於神經網路單元，按照一定的概率將其暫時從網路

    機器學習筆記（二）L1，L2正則化

    2.正則化 2.1 什麼是正則化？ (截自李航《統計學習方法》) 常用的正則項有L1，L2等，這裡只介紹這兩種。 2.2 L1正則項 L1正則，又稱lasso，其公式為： ​ L1=α∑kj=1|θj| 特點：約束θj的大小，並且可以產

    java手寫邏輯迴歸包括L1，L2正則實現

    作為一枚機器學習的愛好者，邏輯迴歸算是一個簡單入門的演算法，原理比較簡單，但是自己手動實現邏輯迴歸有一些要注意的事項： 第一是步長選擇的問題，根據你的資料大小來選擇。 第二是自己手動可選擇加不加入常數項，用於做訓練。 第三是實際寫程式碼用的梯度上升程式碼來求解，演算法原理建

    L1和L2正則化區別

    1. L1和L2的定義 L1正則化，又叫Lasso Regression 如下圖所示，L1是向量各元素的絕對值之和 L2正則化，又叫Ridge Regression 如下圖所示，L2是向量各元素的平方和 2. L1和L2的異同點 相同點：都用於避免過擬合 不同點：L

    L0、L1、L2、Elastic Net正則項

    先介紹下各自的用處： L0範數：就是指矩陣中非零元素的個數，很顯然，在損失函式後面加上L0正則項就能夠得到稀疏解，但是L0範數很難求解，是一個NP問題，因此轉為求解相對容易的L1範數（l1能夠實現稀疏性是因為l1是L0範數的最優凸近似） L1範數：矩

    正則表示式詳解（貪婪與懶惰、前瞻與後顧、後向引用等）

    之前嫌正則麻煩，一直沒有深入去了解過正則，能不用的地方就不使用。 最近專案中遇到了不可避免的正則使用，所以花了點時間去了解並整理了一下，理解不一定完全準確，如有不對歡迎指出，希望對大家有所幫助。 一、名詞解釋 首先我們瞭解幾個名詞：元字元 、 普通字元、列印字元、非列印字元、 限定符 、定位符、非列