• 離散型隨機變數：是一些有限或無限個 概率可列 的隨機變數。

• 非離散型隨機變數： 概率不一定可以列出。

對某一問題中所有可能事件，並對所有基本事件賦予一個概率的集合叫做概率空間。

一個無法再分的事件稱為基本事件。

注意：基本事件不一定獨立。後文證明。

下文中類似地 \(X\) 代表隨機變數， \(x\) 代表函式自變數，\(X(\omega)\) 是其在 \(X\) 中的值。

一個事件概率的定義： \(\Pr(A)=\sum_{\omega\in A}\Pr(\omega)\)

其中 \(\omega\) 是 基本事件。

而前文所述 隨機變數 是在概率空間上的基本事件上定義的函式。\(\Pr(A=a)\)

定義 聯合分佈 \(\Pr(X=x\text{&}Y=y)\)

那麼獨立事件 \(A,B\) 的定義是： \(\Pr(A=a\text{&}B=b)=\Pr(A=a)\cdot \Pr(B=b)\)

即 二者概率不受相互之間的影響。

定義期望：

在概率空間 \(G\) 上離散隨機變數 \(X\) 的期望為：

注意到這裡期望定義成了對基本事件求和的形式。

簡單的理解是加權平均數。它確實是事件 \(X\)

也可以理解為 期望=價值*概率

而期望有幾條性質很重要：

• \(E(aX)=aE(X),a\in \text{constant}\)

\(\text{Proof}:E(aX)=\sum_{\omega\in G}aX(\omega) \Pr(\omega)=a\sum_{\omega\in G}X(\omega)\Pr(\omega)=aE(X)\)

• \(E(X+Y)=E(X)+E(Y)\)

\(\text{Proof:}E(X+Y)=\sum_{\omega\in G}(X(\omega)+Y(\omega))\Pr(\omega)=\sum_{\omega\in G}X(\omega)\Pr(\omega)+Y(\omega)\Pr(\omega)=E(X+Y)\)

之所以對非獨立事件也成立：

考慮 \(X+Y\) 實際上是兩個事件發生的 期望 而非 概率。而 \(X\) 的概率即使依賴於 \(Y\) ,也只能對 \(X\) 的期望造成影響，其期望本質上是沒有所謂獨不獨立的。

注意到這個式子本身而言是對期望而非概率的即可。\(X+Y\) 的期望可以從 \(X,Y\) 二者期望拼湊而來。

• \(E(XY)=E(X)E(Y)\) 對於兩個獨立事件成立。

\(\text{Proof:}E(XY)=\sum_{\omega\in G}(X(\omega)Y(\omega))\Pr(\omega)=\sum_{x\in X,y\in Y}xy\Pr(x)\Pr(y)\)

由獨立事件的定義有：

\(E(XY)=\sum_{x\in X,y\in Y}xy\Pr(X=x\text{&}Y=y)=\sum_{x\in X}x\Pr(X=x)\cdot \sum_{y\in Y}y\Pr(Y=y)=E(X)E(Y)\)