a. 一元高斯分布

b. 多元高斯分布

c. 似然函數

d. 獨立同分布(i.i.d —> independent and identically distributed)

給定一個樣本集合，其中樣本都取自於同一個分布，且彼此之間相互獨立，稱之為獨立同分布；其特性就是這些樣本的聯合概率，為它們各自的邊緣分布的乘積；

e. 最大似然估計的局限性

基於給定樣本集合來估計分布（求解分布參數），常用的方法是最大似然估計法，即選擇這樣的分布參數，它能使得樣本的聯合概率最大。（疑惑：不是應該基於給定的樣本數據，選擇概率最大的分布參數麽，兩者有什麽區別呢？）

三個樣本集合取自同一個高斯分布，分別對應上圖中的(a)(b)(c)，可以看出：

（1）多次抽樣產出，樣本均值的期望等於真實分布的均值；

（2）由於樣本方差是由當前樣本均值得到，故即便多次抽樣，樣本方差的期望較真實分布的方差偏小；

上述情況就是所謂的偏置現象，這也是過擬合的本質原因。

高斯分布_簡介