1. 程式人生 > 其它 >關於偏差和方差的筆記

關於偏差和方差的筆記

截圖來自吳恩達深度學習視訊

 

 圖1是一個近似線性分類器,欠擬合,高偏差;

圖3過擬合,高方差;

圖2介於二者之間,適度擬合。

將圖1進行部分改動生成紫色線所示的分類器(如下圖),其具有高偏差和高方差,接近線性分類器,欠擬合的同時,對某兩個樣本過擬合。

 

 

以下面的貓狗二分類問題為例:

假設訓練集和驗證集來源相同,基本誤差較小

 

檢驗方差和偏差的一個指標是看訓練集和驗證集的錯誤率:

假如訓練集錯誤率1%,而驗證集錯誤率為11%,有可能是訓練集過擬合導致的,——>高方差

假如訓練集錯誤率15%,而驗證集錯誤率16%,二者效果都不是很好,可能是欠擬合,——>高偏差

假如訓練集錯誤率15%,效果不好,而驗證集錯誤率30%,情況更糟糕,可能是欠擬合,而且訓練集和驗證集錯誤率相差太多,則在訓練集上過擬合——>高偏差,高方差

假如訓練集錯誤率0.5%,驗證集錯誤率1%,表現較好——>低方差,低偏差

 

關於偏差和方差的概念性說明:偏差(Bias)與方差(Variance) - 知乎 (zhihu.com)