統計推斷（機器學習）
阿新 • • 發佈：2021-11-01
統計推斷（statistical inference），在電腦科學中也被稱為“機器學習”，是使用資料推斷生成資料分佈的過程
一個經典的統計推斷問題是：給一個樣本(\(\sim\)意味這是簡單隨機樣本)\(X_1,...,X_n \sim F\)，如何推斷\(F?\)
統計推斷
多變數分佈與獨立同分布樣本
令\(X=(X_1,...X_n)\)，其中\(X_1,...X_n\)均為隨機變數。這時，我們稱\(X\)為一個隨機向量(random vector)。
如果\(X_1,...,x_n\)獨立且相互都有相同的邊緣分佈函式\(F\)，我們稱\(X_1,...X_n\)是獨立同分布(IID, independent and identically distributed)的，同時使用如下記號表示：
如果分佈\(F\)有密度函式\(f\)我們也寫作\(X_1,...,X_n \sim f\)。我們也稱\(X_1,...,X_n\)是來自\(F\)的大小為\(n\)的隨機樣本（注，國內一般稱之為簡單隨機樣本）。
此時由於獨立性，
\[P(X_1\in A_1, ..., X_n\in A_n) = \prod_{i=1}^{n} P(X_i\in A_i)，等價於f(x_1,...,x_n)=\prod_{i=1}^{n} f_{X_i}(x_i) \]獨立同分布(IID, independent and identically distributed)樣本具有獨立同分布的多變數分佈。
大部分統計推斷理論和應用都是以獨立同分布(IID)觀測量為基礎的。
ChangeLog
- 11月1日 19:38 寫了第一部分。