Validation

Model Selection Problem

針對模型建立的過程，如上圖所示，不僅需要考慮演算法的選擇，還要考慮迭代次數，學習速率，特徵轉換，正則化，正則化係數的選擇等等，不同的搭配，都有不同的機器學習效果。那麼我們應該如何找一個最合適的搭配呢？

首先我們考慮通過找一個最好 $E_{in}$

但是相對來說， $E_{in}$

另外一種方法，如果有這樣一個獨立於訓練樣本的測試集，將M個模型在測試集上進行測試，看一下 $E_{tes}$

但是，我們拿到的都是訓練集D，測試集是拿不到的。所以，尋找一種折中的辦法，我們可以使用已有的訓練集D來創造一個驗證集validation set，即從D中劃出一部分 $D_{val}$作為驗證集。D另外的部分作為訓練模型使用， $D_{val}$獨立開來，用來測試各個模型的好壞，最小化 $E_{val}$，從而選擇最佳的 $g_{m^∗}$。

Validation

從訓練集D中抽出一部分K個數據作為驗證集 $D_{val}$， $D_{val}$對應的error記為 $E_{val}$。這樣做的一個前提是保證 $D_{val}$獨立同分布（iid）於P(x,y)，也就是說 $D_{val}$的選擇是從D中平均隨機抽樣得到的，這樣能夠把 $E_{val}$與 $E_{out}$聯絡起來。D中去除 $D_{val}$後的資料就是供模型選擇的訓練資料 $D_{train}$，其大小為N-k。從 $D_{train}$中選擇最好的g，記為 $g^−_m$。

假如D共有1000個樣本，那麼可以選擇其中900個 $D_{train}$，剩下的100個作為 $D_{val}$。使用 $D_{train}$訓練模型，得到最佳的 $g^−_m$，使用 $g^−_m$對 $D_{val}$進行驗證，得到如下Hoffding不等式：

$E_{out}(g^-_m)\leq E_{val}(g^-_m)+O(\sqrt\frac{logM}{K})$

假設有M種模型hypothesis set， $D_{val}$的數量為K，那麼從每種模型m中得到一個在 $D_{val}$上表現最好的g，再橫向比較，從M個g中選擇一個最好的 $m^∗$作為我們最終得到的模型。

根據之前的leraning curve很容易知道，訓練樣本越多，得到的模型越準確，其hypothesis越接近target function，即D的 $E_{out}$比 $D_{train}$的 $E_{out}$要小.

所以，我們通常的做法是通過 $D_{val}$來選擇最好的矩 $g^−_{m^∗}$對應的模型 $m^∗$，再對整體樣本集D使用該模型進行訓練，最終得到最好的矩 $g_{m^∗}$。

如上圖所示，我們先把資料集分為 $D_{train}$， $D_{val}$