1. 如果是Square loss，那就是最小二乘了；
2. 如果是Hinge Loss，那就是著名的SVM了；
3. 如果是exp-Loss，那就是牛逼的 Boosting了；
4. 如果是log-Loss，那就是Logistic Regression了；

L0範數是指向量中非0的元素的個數。如果我們用L0範數來規則化一個引數矩陣W的話，就是希望W的大部分元素都是0。換句話說，讓引數W是稀疏的。

L1範數是指向量中各個元素絕對值之和。L1範數是L0範數的最優凸近似。任何的規則化運算元，如果他在Wi=0的地方不可微，並且可以分解為一個“求和”的形式，那麼這個規則化運算元就可以實現稀疏。W的L1範數是絕對值，|w|在w=0處是不可微。

L2範數是指向量中各元素的平方和然後開根。我們讓L2範數的規則項||W||2最小，可以使得W的每個元素都很小，都接近於0。而越小的引數說明模型越簡單，越簡單的模型則越不容易產生過擬合現象。