一、訓練誤差與測試誤差

統計學習的目的就是利用已經學到的模型對已知數據和未知數據進行預測，因此在損失函數確定的情況下，基於損失函數的訓練誤差和測試誤差就成了我們對模型進行評價的一個標準。

註意：在統計學習中使用的損失函數未必和評估中使用的損失函數一樣。

訓練誤差的大小對於判斷給定問題是否容易學習是有意義的，但是其本質並沒有太大意義。而測試數據集誤差反應了學習的模型對未知數據的預測能力，測試誤差較小的模型顯然將有較好的預測能力，我們一般將模型對未知數據的預測能力稱為模型的泛化能力。

二、過擬合與模型選擇
1.過擬合：指學習模型的時候所包含的參數過多，這樣得到的模型對訓練數據具有較好的預測能力，但是對未知數據的預測能力較差的現象。
2.模型選擇：就是指避免過擬合並可以有效提高模型的的預測能力。

如下圖給出了當M=0，M=1，M=3,M=9的情況下的，擬合結果。

根據上圖我們分析如下（分析未做詳細描述）：
當M=0時，訓練數據基本沒有出現在擬合曲線附近，因此該模型的經驗風險明顯偏高。
當M=1時，雖然比M-0時效果較好一些，但是其經驗風險值明顯較高。
當M=9時，所有訓練數據均在擬合的曲線附近，但是其對未知數據的預測準確率明顯不高。
只有當M=3的時候，擬合的曲線基本與實際曲線基本接近。
因此，當M=3的時候模型最好。

模型評估與模型選擇