S1

1. 統計學習的基本假設是同類資料具有一定的統計規律性
2. 特徵空間(featrure space)的每一維對應於一個特徵。有時假設輸入空間與特徵空間為相同空間，對他們不予區分。有時假設輸入空間與特徵空間為不同的空間，將例項從輸入空間對映到特徵空間。模型實際上都是定義在特徵空間上的。
3. 期望風險是模型關於聯合分佈的期望損失，經驗風險是模型關於訓練樣本集的平均損失。大數定理，當樣本容量趨於無窮時，經驗風險趨於期望風險。
4. 極大似然估計就是經驗風險最小化的例子。當模型是條件概率分佈，損失函式是對數損失函式時，經驗風險最小化就等價於極大似然估計。
   1. 極大似然估計(MLE):模型已定引數未定，找出一組引數使得模型產生出觀測資料的概率最大。
5. 結構風險最小化就是為了防止過擬合，等價於正則化。加上表示模型複雜度的正則化項或懲罰項。結構風險小需要經驗風險與模型複雜度同時小。
6. 貝葉斯估計的最大後驗概率估計就是結構風險最小化的例子。當模型是條件概率分佈，損失函式是對數損失函式，模型複雜度由模型的先驗概率表示時，結構風險最小化就等價於最大後驗概率估計。
   1. https://www.cnblogs.com/sylvanas2012/p/5058065.html
7. 將學習方法對位置資料的預測能力稱為泛化能力。
8. 從貝葉斯的角度看，正則化項對應於模型的先驗概率，可以假設複雜的模型有較大的先驗概率，簡單的模型有較小的先驗概率
   。
9. 模型選擇的兩種方法：正則化/交叉驗證。
10.