參考書目及論文：《統計學習方法》——李航、A Tutorial on Support Vector Machine for Pattern Recognition

監督學習的目的是找到一個輸入輸出對映（模型），使得這個模型不僅對訓練資料有很好的擬合能力，對於未知資料，它也有很好的預測能力。這篇部落格介紹選擇和評估模型的標準。本篇部落格一共有以下幾個重點：訓練誤差與測試誤差、泛化能力、過擬合。

訓練誤差與測試誤差

訓練誤差是模型關於訓練集的平均損失來表示：

其中為訓練集中資料的個數；損失函式在上一篇部落格：統計學三要素中有介紹，同時我們可以看到，訓練誤差也就是該篇文章所提到的經驗損失函式。訓練誤差的大小，可以說明問題是不是一個容易學習的問題。

測試誤差是模型關於測試集資料的平均損失：

其中為測試集中資料的個數。測試誤差反應了學習模型對於未知的測試集中資料的預測能力。由於測試誤差只是表徵了對於測試集中資料的預測能力，我們可以更一般的引申一下，由此引入了模型對於所有未知資料預測能力——泛化能力。

泛化能力

泛化誤差

泛化能力用來表徵學習模型對於未知資料的預測能力。

很顯然，我們沒有辦法對所有的資料進行預測然後判斷來計算一個模型的模型的泛華能力，所以在實際應用當中，我們一般還是用的測試集中的資料來近似泛化能力。

但是，我們大統計學習也在理論上試圖對學習方法的泛化能力進行了分析，首先給出泛化誤差的定義：

泛化誤差越小，學習模型的泛化能力越好。可以看到，泛化誤差實際上就是

統計學三要素這篇部落格中介紹的風險函式。由上篇部落格我們可知，泛化誤差（風險函式）不可計算。那麼，我們該如何來衡量泛化能力呢？下面將介紹泛化誤差上界。

泛化誤差上界

對於二分類問題，當假設空間是有限個函式組成的集合時，對假設空間裡的任意一個函式，存在一個滿足的，至少以概率，下面的不等式成立：

(這個公式是我綜合書和論文自己推導的，如果有問題，請批評指正。)

(需要注意的是，是先有有限個函式組成的假設空間，才有後面的這個式子，具體推導過程見：細（戲）說vc維)

其中：為VC維。VC維反應了模型的複雜程度，VC維越大，模型越是複雜。

對於泛化上界，有三個關鍵點：

1.泛化上界與無關，它只假定訓練集合測試集都是獨立的根據服從某一個

分佈。

//關於上面的這個，其實我是不認同的。我認為在計算平均損失函式時，由於其中用到的損失函式中包含了服從分佈的點，所以我並不認為泛化誤差上界是independent of 。

2.我們呢，基本上不可能算出等式的左邊，也就是風險函式。

3.但是呢，如果我們知道了，我們就可以算出右邊。

基於以上三點，這就跟我們提供了一個方法，我們既然算不了左邊的風險函式，那麼我們可以選擇使得右邊最小的模型。

關於泛化上界的證明，如有興趣請看：泛化上界的證明。

過擬合

前面我們介紹了訓練誤差和測試誤差的概念。如果我們在學習模型的時候，一味的最小化訓練誤差，所選的模型的複雜度可能會很高，這種現象稱為過擬合。出現過擬合的原因是因為訓練集中的資料本身就存在有噪聲，一味的追求訓練誤差的最小化，會導致對未知資料的預測能力降低。它一般表現在引數過多的模型上。我們在選擇模型的時候注意避免過擬合，並且提高模型的預測能力。畢竟學習模型的最終目的還是針對對未知資料的預測。

T^T（個人覺得對過擬合的闡述很不清楚，好想抽不擅長表達的自己一巴掌）