1、範數

 L0範數是指向量中非0的元素的個數。如果我們用L0範數來規則化一個引數矩陣W的話，就是希望W的大部分元素都是0。換句話說，讓引數W是稀疏的。

 L1範數是指向量中各個元素絕對值之和。L1範數是L0範數的最優凸近似。任何的規則化運算元，如果他在Wi=0的地方不可微，並且可以分解為一個“求和”的形式，那麼這個規則化運算元就可以實現稀疏。W的L1範數是絕對值，|w|在w=0處是不可微。

 雖然L0可以實現稀疏，但是實際中會使用L1取代L0。因為L0範數很難優化求解，L1範數是L0範數的最優凸近似，它比L0範數要容易優化求解。

  L2範數是指向量中各元素的平方和然後開根。我們讓L2範數的規則項||W||2最小，可以使得W的每個元素都很小，都接近於0。而越小的引數說明模型越簡單，越簡單的模型則越不容易產生過擬合現象。    L2範數，又叫“嶺迴歸”（Ridge Regression）、“權值衰減”（weight decay）。這用的很多吧，它的作用是改善過擬合。過擬合是：模型訓練時候的誤差很小，但是測試誤差很大，也就是說模型複雜到可以擬合到所有訓練資料，但在預測新的資料的時候，結果很差。 參考原文：https://blog.csdn.net/zchang81/article/details/70208061