在前幾周的課程裡，我們已經學習了 監督學習 中的 線性迴歸、邏輯迴歸、神經網路（ 點選進入筆記 ）。回顧課程作業，所有的樣本資料都被用來訓練模型。驗證模型時，也只是將模型的資料結果與正確結果作對比來看正確率。 這樣的訓練方法是否正確？正確率是否能作為評價模型的標準？這周就將學習如何評價我們的模型，以及如何採取正確有效的改進策略。

點選 課程視訊 你就能不間斷地學習 Ng 的課程，關於課程作業的 Python 程式碼已經放到了 Github 上，點選 課程程式碼 就能去 Github 檢視（ 無法訪問 Github 的話可以點選 Coding 檢視 ），程式碼中的錯誤和改進歡迎大家指出。

以下是 Ng 機器學習課程第五週的筆記。

改進策略

對於 預測函式，我們通常會使用以下幾種手段來改進：

1. 採集更多的樣本資料
2. 減少特徵數量，去除非主要的特徵
3. 引入更多的相關特徵
4. 採用多項式特徵
5. 減小正則化引數 λ$\lambda$
6. 增加正則化引數 λ$\lambda$

Andrew Ng 告訴大家，他見過很多開發者盲目地使用改進策略，為此耗費了大量的時間和精力，卻沒什麼效果。所以我們需要一些依據來幫助我們選擇合適的策略。

資料集劃分

為了評價模型，我們通常將資料集分為三個部分，60%$60\mathrm{\%}$ 的 訓練集、20%$20\mathrm{\%}$ 的 交叉驗證集 和 20%$20\mathrm{\%}$ 的 測試集，並使用 誤差 作為模型使用在這些集合上的評價，誤差 的形式與之前的 代價函式

在被劃分的集合中，我們使用 訓練集 來訓練引數 θ$\theta$，使用 交叉驗證集 來選擇模型（ 比如該使用多少次的多項式特徵 ），使用 測試集 來評估模型的預測能力。

方差與偏差

當我們的模型表現不佳時，通常是出現兩種問題，一種是 高偏差 問題，另一種是 高方差 問題。識別它們有助於選擇正確的優化方式，所以我們先來看下 偏差 與 方差 的意義。
- 偏差

對於 多項式迴歸，當次數選取較低時，我們的 訓練集誤差 和 交叉驗證集誤差 都會很大；當次數選擇剛好時，訓練集誤差 和 交叉驗證集誤差 都很小；當次數過大時會產生過擬合，雖然 訓練集誤差 很小，但 交叉驗證集誤差 會很大（ 關係圖如下 ）。

所以我們可以計算 Jtrain(θ)$J_{train}(\theta )$ 和 Jcv(θ)$J_{cv}(\theta )$，如果他們同時很大的話，就是遇到了高偏差問題，而 Jcv(θ)$J_{cv}(\theta )$ 比 Jtrain(θ)$J_{train}(\theta )$ 大很多的話，則是遇到了高方差問題。

對於 正則化 引數，使用同樣的分析方法，當引數比較小時容易產生過擬合現象，也就是高方差問題。而引數比較大時容易產生欠擬合現象，也就是高偏差問題。

學習曲線

無論你是要檢查你的學習演算法是否正常工作或是要改進演算法的表現，學習曲線 都是一個十分直觀有效的工具。學習曲線 的橫軸是樣本數，縱軸為 訓練集 和 交叉驗證集 的 誤差。所以在一開始，由於樣本數很少，Jtrain(θ)$J_{train}(\theta )$ 幾乎沒有，而 Jcv(θ)$J_{cv}(\theta )$ 則非常大。隨著樣本數的增加，Jtrain(θ)$J_{train}(\theta )$ 不斷增大，而 Jcv(θ)$J_{cv}(\theta )$ 因為訓練資料增加而擬合得更好因此下降。所以 學習曲線 看上去如下圖：

在高偏差的情形下，Jtrain(θ)$J_{train}(\theta )$ 與 Jcv(θ)$J_{cv}(\theta )$ 已經十分接近，但是 誤差 很大。這時候一味地增加樣本數並不能給演算法的效能帶來提升。

在高方差的情形下，Jtrain(θ)$J_{train}(\theta )$ 的 誤差 較小，Jcv(θ)$J_{cv}(\theta )$ 比較大，這時蒐集更多的樣本很可能帶來幫助。

總結

有了以上的分析手段，就能夠得出在何種場景下使用我們的改進策略：

1. [高方差] 採集更多的樣本資料
2. [高方差] 減少特徵數量，去除非主要的特徵
3. [高偏差] 引入更多的相關特徵
4. [高偏差] 採用多項式特徵
5. [高偏差] 減小正則化引數 λ$\lambda$
6. [高方差] 增加正則化引數 λ$\lambda$

So~，第五週的內容就是這些了，謝謝大家耐心閱讀。