之前學習總是搞不懂正則化到底什麼玩意兒，就知道它的公式，它能降低過擬合，但是，它到底為什麼能降低過擬合呢，看了李航老師的《統計學習方法》有了些許體悟。以什麼方式呈現呢，就以問答的方式吧，三省吾身，挺好的。

1 為什麼資料量過小會導致過擬合，為什麼正則化能夠降低過擬合？

因為本質上來說我們選擇模型的標註在於損失函式，我們往往將損失函式和我們真正使用的風險函式混淆了，損失函式描述的是一次預測錯誤的程度，而風險函式時整個批量的資料平均的錯誤程度，我們一般用風險函式來作為模型選擇的標準，可是在計算風險函式的過程中，我們需要系統的聯合分佈，可是我們不知道系統的聯合分佈（正是學習的物件），故而採用的風險函式的近似經驗風險函式，也就是深度學習中理解的損失函式，但是，根據大數理論，只有當資料量足夠多的情況下，經驗風險函式才能無限趨近與風險函式，所以當資料量過小時這個假設就無法成立了，自然無法得到好的模型，所以在有監督的學習中，一般存在經驗風險最小和結構風險最小化，經驗風險最小化我們之前介紹了，那結構風險最小化是啥？下面就直接截圖了，李航第一章裡面的。