1. 程式人生 > >Bias 和 Variance的計算

Bias 和 Variance的計算

Bias(偏差)描述的是預期值偏離真實值的大小,所以high bias代表Underfitting(欠擬合)。 Variance(方差)描述的是任何特殊取樣資料可能造成的與預期值的偏離,所以high variance 代表Overfitting(過擬合)。 下面介紹Bias和Variance的計算。

Bias

估計量的bias定義為: bias 如果無偏差,則說估計量是無偏差的。

Bernoulli分佈的bias計算: 假設分佈期望值是theta,則對於每一個樣本xi,分佈函式為: 分佈函式1 計算方法如下圖所示: 伯努利bias 由上圖可得結果是0,所以估計量hattheta是unbiased。

Gaussian分佈 假設樣本服從高斯分佈高斯分佈

數學期望估計量的偏差計算方法下圖所示: 高斯分佈數學期望 所以高斯分佈的數學期望估計量是無偏差的。 方差的估計量計算方法如下圖所示: 高斯分佈方差 所以按這種方法啊高斯分佈的方差估計量是有偏差的,可以通過設定: 無偏差形式 來使高斯分佈的方差估計量是無偏差。

Variance

方差估計的是隨資料取樣變化函式的變化情況,估計量的方差寫成: varianceBernoulli分佈方差估計量的計算方法 方差