隨機變數
定義 設 \(\xi(\omega)\) 是定義在概率空間 \(\{\Omega, F,P\}\) 上的單值實函式，且對於 \(\mathbb{R}\) 上的任一波雷爾集 \(B\) 有
\[\xi^{-1}(B) = \{\omega:\xi(\omega)\in B \}\in F \]則稱 \(\xi(\omega)\) 為隨機變數，而稱 \(\{P(\xi(\omega)\in B) \}\) 為隨機變數的概率分佈.
定義 若隨機變數 \(\xi_1(\omega),\xi_2(\omega),\cdots,\xi_n(\omega)\)
為 \(n\) 維隨機變數.
離散型分佈
定義 離散型隨機變數的分佈列如下
\[\left[ \begin{matrix} x_1 & x_2 & \cdots & x_n\\ p(x_1) & p(x_2) & \cdots & p(x_n) \end{matrix} \right] \]隨機變數在離散點處取得對應的概率.
定義 離散型二維聯合分佈列
記作 \(p(x_i,y_j),\quad i,j=1,2,\cdots\) .
定義 邊際分佈是固定其中一個分量，取另一個分量的分佈的和
\[P(\xi=x_i) = \sum_{j=1}^{+\infty}P(\xi=x_i,\eta=y_j) = \sum_{j=1}^{+\infty}p_{ij} = p_i\\ P(\eta=y_j) = \sum_{i=1}^{+\infty}P(\xi=x_i,\eta=y_j) = \sum_{i=1}^{+\infty}p_{ij} = p_j \]定義
它是左下角的區域中的概率總和.
連續型分佈
定義 分佈函式具有形式
\[F(x) = P(\xi\le x),\quad -\infty<x<+\infty \]它是隨機變數 \(\xi(\omega)\) 的分佈函式.
定義 連續隨機變數 \(\xi\) 應當可以取得一個區間中的一切值，並且存在某個非負的可積函式 \(p(x)\) ，使得分佈函式滿足
\[F(x) = \int_{-\infty}^x p(y)dy,\quad -\infty<x<+\infty \]則稱 \(p(x)\) 為 \(\xi\) 的密度函式.
定義 聯合密度函式為 \(p(x_1,\cdots,x_n)\) ，則分佈函式為
\[F(x_1,\cdots,x_n) = \int_{-\infty}^{x_1}\cdots\int_{-\infty}^{x_n}p(y_1,\cdots,y_n)dy_1\cdots dy_n \]它也表示一個矩形區域中的概率總和.
定義 二維邊際分佈定義為
\[F_{\xi}(x) = F(x,\infty) = \int_{-\infty}^{x}\int_{-\infty}^{+\infty}p(u,v)dudv = \int_{-\infty}^{x}p_{\xi}(u)du \]其中被積函式稱為邊際密度
\[p_{\xi}(u) = \int_{-\infty}^{+\infty}p(u,v)dv,\quad p_{\eta}(u) = \int_{-\infty}^{+\infty}p(u,v)du \]對密度函式的其中一個變數作積分得到邊際密度.
隨機變數獨立性
定義 離散型隨機向量
\[P(\xi=x_i,\eta=y_j) = P(\xi=x_i)P(\eta=y_j),\quad i,j=1,2,\cdots \]則稱 \(\xi,\ \eta\) 相互獨立；可以發現
\[F(x,y) = P(\xi\le x,\eta\le y) = P(\xi\le x)P(\eta\le y) = F_{\xi}(x)F_{\eta}(y) \]也就是說，概率的相互獨立意味著分佈相互獨立，只需
\[P(\xi=i,\eta=j) = P(\xi=i)P(\eta=j) \]即可證明離散聯合分佈列 \((\xi,\eta)\) 中 \(\xi,\eta\) 獨立.
定義 連續型隨機向量
\[F(x,y) = F_{\xi}(x)F_{\eta}(y) \]則稱 \(\xi,\ \eta\) 相互獨立；類似的有 \(p(x,y) = p_{\xi}(x)p_{\eta}(y)\) 當且僅當 \(\xi,\eta\) 相互獨立.
離散型條件分佈
定義 若 \(P(\xi=x_i)>0\) ，則
\[P(\eta=y_j|\xi=x_i) = \dfrac{P(\xi=x_i,\eta=y_j)}{P(\xi=x_i)} = \dfrac{p_{ij}}{p_i},\quad i,j=1,2,\cdots \]稱為在 \(\xi=x_i\) 下 \(\eta\) 的條件分佈，記為 \(P_{\eta|\xi}(y_j|x_i)\) .
定義 條件分佈函式為
\[P(\eta\le y|\xi=x_i) = \sum_{y_j\le y}P(\eta=y_j|\xi=x_i) \]容易證明 \(P(\eta=y_j|\xi=x_i) = P(\eta=y_j)\) 當且僅當 \(\xi,\eta\) 相互獨立.
連續型條件分佈
定義 若在 \(x\) 處邊際密度
\[p_{\xi}(x) = \int_{-\infty}^{+\infty}p(u,v)dv > 0 \]則稱
\[P(\eta\le y|\xi=x) = \int_{-\infty}^y\dfrac{p(x,v)}{p_{\xi}(x)}dv \]為在 \(\xi=x\) 下 \(\eta\) 的條件分佈，記為 \(P_{\eta|\xi}(y|x)\) .
於是我們得到連續分佈下的貝葉斯公式
\[P_{\eta|\xi}(y|x) = \dfrac{P_{\xi|\eta}(x|y)p_{\eta}(y)}{\int_{-\infty}^{+\infty}P_{\xi|\eta}(x|v)p_{\eta}(v)dv} \]上面是 \(x,y\) 同時發生的概率，下面是 \(x\) 發生的概率.
注意到當 \(x\) 發生時 \(A\) 發生的概率可以看作是一個關於 \(x\) 的函式，我們考慮
\[g(x) = P(A|X=x) \]從而有全概率公式
\[P(A) = \int_{-\infty}^{+\infty}g(x)p_X(x)dx \]它表示的是 \(A\) 發生的概率是每一個 \(x\) 發生時 \(A\) 發生的概率的總和.
卷積公式
離散分佈 \(\zeta = \xi + \eta\) 的分佈列為
\[P(\zeta=r) = \sum_{k=0}^rP(\xi=k)P(\eta=r-k) \]根據定義很容易驗證.
連續型分佈 \(\eta = f(\xi)\) 的分佈函式為
\[G(y) = P(\eta \le y) = P(f(\xi)\le y) = \int_{x\in D}p(x)dx,\quad D=\{x|f(x)\le y\} \]限制 \(f(x)\) 嚴格單調， \(f^{-1}(y)\) 有連續導數，則 \(\eta = f(\xi)\) 是連續型隨機變數，有密度函式
\[g(y) = \left\{ \begin{aligned} &p(f^{-1}(y))\left|\left[f^{-1}(y)\right]^{\prime}\right|,\quad &y\in f(x)\\ &0,\quad &\mathrm{otherwise} \end{aligned} \right. \]\(Proof.\) 只需利用定義
\[\int_{-\infty}^{y}g(v)dv = G(y) = P(f(\xi)\le y) = P(\xi\le f^{-1}(y)) = \int_{-\infty}^{f^{-1}(y)}p(x)dx = \int_{-\infty}^{x}p(f^{-1}(y))\left|\left[f^{-1}(y)\right]^{\prime}\right|dy \]當 \(y\notin f(x)\) ，顯然有密度為 \(0\) .
令 \(\eta = f(\xi_1,\cdots,\xi_n)\) ，則有分佈函式
\[F_{\eta}(y) = P(f(\xi_1,\cdots,\xi_n)\le y) = \int_{f(x_1,\cdots,x_n)\le y}p(x_1,\cdots,x_n)dx_1\cdots dx_n \]這是計算所有此類分佈函式的通用方式.
通過上述公式，使用類似的方法，我們計算出以下幾種常見情況：
- 若 \(\eta = \xi_1+\xi_2\) ，則有密度函式
當 \(\xi_1,\xi_2\) 相互獨立，則有
\[p_{\eta}(z) = \int_{-\infty}^{+\infty}p_{\xi_1}(x)p_{\xi_2}(z-x)dx \]對於 \(\eta = \xi_1-\xi_2\) ，只需將其中的符號反轉
\[p_{\eta}(z) = \int_{-\infty}^{+\infty}p(x,x-z)dx \]- 若 \(\eta = \frac{\xi_1}{\xi_2}\) ，則有密度函式
如果計算 \(\eta = \xi_1\xi_2\) ，先計算 \(1/\xi_2\) ，這隻需要取密度函式的倒數，然後應用上式.
次序統計量
設 \(\xi_1,\cdots,\xi_n\) 獨立同分布，分佈函式為 \(F(x)\) ，定義
\[\xi_1^{*} = \min\{\xi_1,\cdots,\xi_n\},\quad \xi_n^{*} = \max\{\xi_1,\cdots,\xi_n\} \]這裡 \(\min\) 是對每一個給定的事件 \(A\) ，取 \(\xi_i^*(A) = \min\{\xi_1(A),\cdots,\xi_n(A) \}\) ，而 \(\max\) 也是類似的；則我們有 \(\xi_n^*\) 的分佈函式為
\[\begin{aligned} P(\xi_n^*\le x) &= P(\xi_1\le x,\cdots,\xi_n\le x)\\ &= P(\xi_1\le x)\cdots P(\xi_n\le x)\\ &= [F(x)]^n \end{aligned} \]\(\xi_1^*\) 的分佈函式為
\[\begin{aligned} P(\xi_1^*\le x) &= 1-P(\xi_1^*> x)\\ &= 1- P(\xi_1> x,\cdots,\xi_n> x)\\ &= 1- P(\xi_1> x)\cdots P(\xi_n> x)\\ &= 1-[1-F(x)]^n \end{aligned} \]\((\xi_1^*,\xi_n^*)\) 的聯合分佈為
\[\begin{aligned} F(x,y) &= P(\xi_1^*\le x,\xi_n^*\le y)\\ &= P(\xi_n^*\le y) - P(\xi_1^*> x,\xi_n^*\le y)\\ &= [F(y)]^n - P\left(\cap_{i=1}^n(x<\xi_i\le y)\right) \end{aligned} \]- 當 \(x<y\) ， \(F(x,y) = [F(x)]^n - [F(y)-F(x)]^n\) ；
- 當 \(x\le y\) ， \(F(x,y) = [F(y)]^n\) .
隨機向量變換
對 \(f_j(x_1,\cdots,x_n),\ j=1,\cdots,n\) ，若有唯一反函式組 \(x_i=x_i(y_1,\cdots,y_n),\ i=1,\cdots,n\) ，且
\[J = \dfrac{\partial(x_1,\cdots,x_n)}{\partial(y_1,\cdots,y_n)} \neq 0 \]則 \((\eta_1,\cdots,\eta_n) = (f_1,\cdots,f_n)\) 為隨機向量，當 \((y_1,\cdots,y_n)\in(f_1,\cdots,f_n)\) ，有密度函式
\[q(y_1,\cdots,y_n) = p(x_1(y_1,\cdots,y_n),\cdots,x_n(y_1,\cdots,y_n))|J| \]這也就是將隨機向量 \((\xi_1,\cdots,\xi_n)\) 變換為 \((\eta_1,\cdots,\eta_n)\) 後的密度函式.
如果有 \(k\) 個反函式組 \(x_i^j=x_i^j(y_1,\cdots,y_n),\ i=1,\cdots,n,\ j=1,\cdots,k\) ，即可能存在多個反函式，且有
\[J^j = \dfrac{\partial(x_1^j,\cdots,x_n^j)}{\partial(y_1,\cdots,y_n)} \neq 0 \]那麼密度函式是它們的直接相加
\[q(y_1,\cdots,y_n) = \sum_{j=1}^{k}p(x_1^j(y_1,\cdots,y_n),\cdots,x_n^j(y_1,\cdots,y_n))|J^j| \]需要注意反函式的定義域，在定義域外， \(q(y_1,\cdots,y_n) = 0\) .