目錄

第一週 深度學習的實用層面（Part1）

有關訓練集、驗證集以及測試集的理解

顧名思義，訓練集和測試集是在訓練模型和測試模型表現時所用到的資料集，而關於驗證集的定義顯得較模糊。下面的文章給予了一個較為直觀的解釋

大意為在訓練階段同時使用訓練集進行訓練，在此階段用於評估的即為驗證集。

那麼dev set和training set有什麼區別麼？ 看上去好像都是用來評估模型好壞的，特意在test set上進行驗證又有什麼用呢？ 因為test set 能夠提供更多的評估模型的指標。 我們之前說過評估一個分類器有混淆矩陣，有ROC，有召回，精準，F1 Scroe等。 這些都是在dev set上不做統計的，dev set上只統計單一評估指標，也就是AUC。 

另一種解釋為，驗證集被稱作評估集（valid set）或者交叉驗證集（corss validation）

交叉驗證的基本思想是把在某種意義下將原始資料(dataset)進行分組,一部分做為訓練集(train set),另一部分做為驗證集(validation set or test set),首先用訓練集對分類器進行訓練,再利用驗證集來測試訓練得到的模型(model),以此來做為評價分類器的效能指標。（https://blog.csdn.net/yueguizhilin/article/details/77711789）

偏置(Bias)和方差(Variance)的理解

• Bias度量了學習演算法的期望輸出與真實結果的偏離程度, 刻畫了演算法的擬合能力，Bias 偏高表示預測函式與真實結果差異很大。
• Variance則代表“同樣大小的不同的訓練資料集訓練出的模型”與“這些模型的期望輸出值”之間的差異。訓練集變化導致效能變化， Variance 偏高表示模型很不穩定。

即Bias反映了模型在其訓練階段的擬合程度，而Variance可以反映模型在測試集上的準確率。因此減小Bias可以從模型自身出發，增加網路規模（增加節點、層數）以提高其擬合能力，與此同時，Variance會因為模型過於擬合訓練集而在測試集上出現更大的偏差。減小Variance的方法主要為正則化（即設法減小過擬合，提高模型的普適性）。所以均衡二者的關係尤為重要。