吉譜斯現象Gibbs（又叫吉譜斯效應）： 用有限項傅裏葉級數表示有間斷點的信號時，在間斷點附近不可避免的會出現振蕩和超量。超量的幅度不會隨所取項數的增加而減小。只是隨著項數的增多，振蕩頻率變高，並向間斷點處壓縮，從而使它所占有的能量減少。當選取項數趨於無窮時，超量趨於一個常數，約占9%，這種現象稱為吉普斯現象。
正則化的理解：
正則化就是對最小化經驗誤差函數上加約束，這樣的約束可以解釋為先驗知識(正則化參數等價於對參數引入先驗分布)。
約束有引導作用，在優化誤差函數的時候傾向於選擇滿足約束的梯度減少的方向，使最終的解傾向於符合先驗知識(如一般的l-norm先驗，表示原問題更可能是比較簡單的，這樣的優化傾向於產生參數值量級小的解，一般對應於稀疏參數的平滑解)。
同時正則化，解決了逆問題的不適定性，產生的解是存在，唯一同時也依賴於數據的，噪聲對不適定的影響就弱，解就不會過擬合，而且如果先驗(正則化)合適，則解就傾向於是符合真解(更不會過擬合了)，即使訓練集中彼此間不相關的樣本數很少。
為什麽我們要得到稀疏性的特征表示呢？當然是為了防止過擬合，提高泛化能力，更好地解釋模型....其實，從生物學的角度，人腦中的大量神經元，當受到外界刺激（圖像或者聲音）時，只有少量的神經元被激活，大部分神經元處於抑制狀態。
正則化項可以是模型參數向量的範數。不同的正則化項對參數w的約束不同，取得的效果也不同，常見的正則化項：零範數、一範數、二範數、跡範數、Frobenius範數和核範數等等。
L2範數可以防止過擬合，提升模型的泛化能力；從優化或者數值計算的角度來說，L2範數有助於處理 condition number不好的情況下矩陣求逆很困難的問題。
L1範數是指向量中各個元素絕對值之和，又叫“稀疏規則算子”（Lasso regularization）。

正則化筆記