應用隨機過程05：泊松過程
第五講 泊松過程
一、泊松過程的兩種定義
Part 1：獨立增量與平穩增量
對於任意一個隨機過程，我們先了解一下增量的概念，這一概念在泊松過程和布朗運動中都會用到。
設 \(\{X(t):t\in T\}\)
獨立增量過程：對於隨機過程 \(\{X(t):t\in T\}\) ，如果對任意 \(k\geq2\) 和 \(t_0<t_1<t_2<\cdots<t_k\) 有
\[X(t_1)-X(t_0),X(t_2)-X(t_1),\cdots,X(t_k)-X(t_{k-1}) \]相互獨立，則稱 \(\{X(t):t\in T\}\)
平穩增量過程：對於隨機過程 \(\{X(t):t\in T\}\) ，如果對任意的 \(h\in\mathbb{R}\) 和任意的 \(s<t\) 都有
\[X(t+h)-X(s+h)\xlongequal{d}X(t)-X(s) \ , \]則稱 \(\{X(t):t\in T\}\) 為平穩增量過程。平穩增量過程的特點是：增量 \(X(t)-X(s)\) 的分佈僅依賴與時間差 \(t-s\) 而與 \(s\) 和 \(t\) 無關。
平穩獨立增量過程：如果隨機過程 \(\{X(t):t\in T\}\)
這裡我們需要介紹一條關於獨立增量過程的十分有用的性質。
如果 \(\{X(t):t\in T\}\) 是獨立增量過程，\(X(0)=0\) 且二階矩存在，則
\[C_X(s,t)=\sigma_X^2\left(\min\{s,t\}\right)\xlongequal{def}\sigma_X^2\left(s\and t\right) \ . \]證明：當 \(s=t\) 時，等式顯然成立。不妨設 \(s<t\) ，則
\[\begin{aligned} C_X(s,t)&={\rm Cov}\left(X(s),X(t)\right) \\ &={\rm Cov}\left[X(s)-X(0),(X(t)-X(s)+X(s)-X(0))\right] \\ &={\rm Cov}\left[X(s)-X(0),X(t)-X(s)\right]+{\rm Var}(X(s)-X(0)) \\ &=\sigma_X^2(s) \ . \end{aligned} \]
Part 2：計數過程與泊松過程
泊松過程是通過計數過程定義的，所以在介紹泊松過程之前，我們先介紹一下計數過程。若 \(N(t)\) 表示到 \(t\) 時刻為止已發生的事件的總數，則稱隨機過程 \(\{N(t):t\geq0\}\) 為計數過程。計數過程是一個狀態空間為非負整數的具有連續時間的隨機過程，顯然計數過程具有如下性質：
- \(N(t)\geq0\) 且 \(N(t)\) 是整數值；
- 若 \(s<t\) ，則 \(N(s)\leq N(t)\) ；
- 若 \(s<t\) ，則 \(N(t)-N(s)\) 等於區間 \((s,t]\) 中發生的事件的個數。
泊松過程是計數過程的最重要的型別之一，我們可以從兩個角度去定義泊松過程。
泊松過程的第一種定義：計數過程 \(\{N(t):t\geq0\}\) 稱為引數為 \(\lambda\) 的齊次泊松過程，如果滿足以下條件：
- \(N(0)=0\) ；
- \(\{N(t):t\geq0\}\) 是獨立增量過程；
- 稀有性：\(P(N(t+h)-N(t)=1)=\lambda h+o(h)\) ；
- 相繼性：\(P(N(t+h)-N(t)\geq2)=o(h)\) 。
我們將稀有性和相繼性合併在一起理解，其含義是在充分小的時間間隔內，幾乎不可能同時發生兩個及以上個事件。
回顧一下在數學分析中函式的無窮小量的定義：如果一個函式 \(f(x)\) ，滿足
\[\lim_{x\to0}\dfrac{f(x)}{x}=0 \ , \]則稱函式 \(f(x)\) 是 \(x\) 的高階無窮小量，或稱函式 \(f(x)\) 是 \(o(x)\) 的。
泊松過程的第二種定義：計數過程 \(\{N(t):t\geq0\}\) 稱為引數為 \(\lambda\) 的齊次泊松過程，如果滿足以下條件：
- \(N(0)=0\) ；
- \(\{N(t):t\geq0\}\) 是獨立增量過程；
- 對任意的 \(0\leq s<t\) ，都有 \(N(t)-N(s)\sim P(\lambda(t-s))\) 。
由此泊松分佈條件可知泊松過程也是平穩增量過程，稱引數 \(\lambda\) 為泊松過程的速率或強度。
Part 3：泊松過程兩種定義的等價性證明
下面我們給出兩種定義的等價性證明，這部分內容欣賞即可，不要求掌握。
首先證明 \(\Longleftarrow\)
由第二種定義的泊松分佈條件可知 \(N(t+h)-N(t)\sim P(\lambda h)\) ，於是
\[\begin{aligned} P(N(t+h)-N(t)=1)&=\lambda h e^{-\lambda h}=\lambda h(1-\lambda h+o(h))=\lambda h+o(h) \ . \\ \\ P(N(t+h)-N(t)\geq2)&=1-P(N(t+h)-N(t)=0)-P(N(t+h)-N(t)=1) \\ &=1-e^{-\lambda h}-\lambda he^{-\lambda h} \\ &=1-(1-\lambda h+o(h))-\lambda h(1-\lambda h+o(h)) \\ &=o(h) \ . \end{aligned} \]證明中用到了 \(e^x\) 的泰勒展開式，至此我們就證明了第一種定義的稀有性和相繼性成立。
下面證明 \(\Longrightarrow\)
這裡我們需要引入 \(N(t)\) 的矩母函式。固定 \(u>0\) ，定義 \(\phi_u(t)={\rm E}\left[e^{uN(t)}\right]\) 為 \(N(t)\) 的矩母函式。對任意的 \(h>0\) ，我們推導 \(g(t)\) 的一個微分方程如下：
\[\begin{aligned} \phi_u(t+h)&={\rm E}\left[e^{uN(t+h)}\right] \\ &={\rm E}\left[e^{uN(t)}e^{u(N(t+h)-N(t))}\right] \\ &={\rm E}\left[e^{uN(t)}\right]{\rm E}\left[e^{u(N(t+h)-N(t))}\right] \\ &=\phi_u(t){\rm E}\left[e^{u(N(t+h)-N(t))}\right] \ . \end{aligned} \]其中第三個等號利用了第一種定義中的獨立增量性，下面由稀有性和相繼性知
\[\begin{aligned} P(N(t+h)-N(t)=0)&=1-\lambda h+o(h) \ , \\ P(N(t+h)-N(t)=1)&=\lambda h+o(h)\ , \\ P(N(t+h)-N(t)\geq2)&=o(h) \ . \\ \end{aligned} \]由全概率公式/全期望公式可知
\[\begin{aligned} {\rm E}\left[e^{u(N(t+h)-N(t))}\right]&=e^0(1-\lambda h+o(h))+e^u(\lambda h+o(h))+\sum_{k=2}^\infty e^{ku}o(h) \\ &=1-\lambda h+o(h)+e^u(\lambda h+o(h))+o(h) \\ &=1-\lambda h+e^u\lambda h+o(h) \ . \end{aligned} \]進而可以得到
\[\phi_u(t+h)=\phi_u(t)(1+\lambda h(e^u-1))+o(h) \ . \]由此推出
\[\frac{\phi_u(t+h)-\phi_u(t)}{h}=\phi_u(t)\lambda(e^u-1))+\frac{o(h)}{h} \ . \]令 \(h\to0\) ，便得到如下微分方程
\[\phi_u'(t)=\phi_u(t)\lambda(e^u-1) \ . \]取初值條件為 \(\phi_u(0)={\rm E}\left[e^{uN(0)}\right]=1\) ，求解得到上述微分方程的解為
\[\phi_u(t)=e^{\lambda t\left(e^u-1\right)} \ . \]由矩母函式和分佈函式的相互唯一確定性（拉普拉斯變換的唯一性），我們可以得出 \(N(t)\) 服從均值為 \(\lambda t\) 的泊松分佈。由於定義中的獨立增量性，即可證明 \(N(t)-N(s)\sim P(\lambda(t-s))\) 。至此我們也證明了第二種定義的泊松分佈條件成立。
二、泊松過程的性質
Part 1：數字特徵與條件概率
設 \(\{N(t):t\geq0\}\) 是引數為 \(\lambda\) 的齊次泊松過程，則有 \(N(t)\) 服從引數為 \(\lambda t\) 的泊松分佈 。由泊松分佈的數字特徵即可得到如下泊松過程的數字特徵。
- 均值函式：\(\mu_N(t)={\rm E}(N(t))=\lambda t\) ；
- 方差函式：\(\sigma_N^2(t)={\rm Var}(N(t))=\lambda t\) ；
- 自協方差函式：\(C_N(s,t)=\lambda\min\{s,t\}=\lambda(s\and t)\) ；
- 自相關函式：\(r_N(s,t)=\lambda(s\and t)+\lambda^2st\) 。
關於泊松過程，我們常常遇到兩類條件概率。在已知某一確定時刻的事件發生數目的條件下，一類是求該時刻後某一時刻的給定事件發生數目的條件概率，另一類是求該時刻前某一時刻的給定事件發生數目的條件概率。
- 對於第一類條件概率，只需用獨立增量性即可完成計算。不妨設 \(s<t,\,m\leq n\) ，則有
- 對於第二類條件概率，需要用貝葉斯公式完成計算。不妨設 \(s<t,\,m\leq n\) ，則有
Part 2：等待時間與到達時間間隔的分佈
對於一個泊松過程，我們將第 \(n\) 個事件到達的時刻記為 \(S_n\) ，也稱為直到第 \(n\) 個事件的等待時間。
定理：等待時間 \(S_n\) 服從引數為 \(n\) 和 \(\lambda\) 的 \(\Gamma\) 分佈，記為 \(S_n\sim\Gamma(n,\lambda)\) ，其概率密度函式為
\[f_{S_n}(t)=\frac{\lambda^n}{\Gamma(n)}e^{-\lambda t}t^{n-1}=\lambda e^{-\lambda t}\frac{(\lambda t)^{n-1}}{(n-1)!} \ , \quad t\geq0 \ . \]我們來證明上述定理。注意到第 \(n\) 個事件在時刻 \(t\) 前發生當且僅當直到 \(t\) 為止發生事件的個數至少是 \(n\) ，用泊松隨機變量表示為
\[N(t)\geq n \quad \iff \quad S_n\leq t \ . \]這是一個非常重要的等價命題。因此有
\[F_{S_n}(t)=P(S_n\leq t)=P(N(t)\geq n)=\sum_{j=n}^\infty e^{-\lambda t}\frac{(\lambda t)^j}{j!} \ , \]對 \(t\) 求導可得
\[\begin{aligned} f_{S_n}(t)&=-\sum_{j=n}^\infty\lambda e^{-\lambda t}\frac{(\lambda t)^j}{j!}+\sum_{j=n}^\infty\lambda e^{-\lambda t}\frac{(\lambda t)^{j-1}}{(j-1)!} \\ &=\lambda e^{-\lambda t}\frac{(\lambda t)^{n-1}}{(n-1)!} -\sum_{j=n}^\infty\lambda e^{-\lambda t}\frac{(\lambda t)^j}{j!}+\sum_{j=n+1}^\infty\lambda e^{-\lambda t}\frac{(\lambda t)^{j-1}}{(j-1)!} \\ &=\lambda e^{-\lambda t}\frac{(\lambda t)^{n-1}}{(n-1)!} \ . \end{aligned} \]所以 \(S_n\sim\Gamma(n,\lambda)\) 。
對於一個泊松過程，我們將第一個事件到達的時間記為 \(T_1\) ，對 \(n\geq2\) ，用 \(T_n\) 表示第 \(n-1\) 個事件與第 \(n\) 個事件發生的時間間隔。補充定義 \(S_0=0\) ，容易看出 \(S_n\) 和 \(T_n\) 的關係為
\[S_n=\sum_{i=1}^nT_i \ , \quad T_n=S_n-S_{n-1} \ , \quad n\geq1 \ . \]定理：\(\{N(t):t\geq0\}\) 是引數為 \(\lambda\) 的泊松過程當且僅當其到達時間間隔 \(T_1,T_2,\cdots\) 獨立同分布且服從引數為 \(\lambda\) 的指數分佈。
我們只證明必要性。若\(\{N(t):t\geq0\}\) 是引數為 \(\lambda\) 的泊松過程，我們先計算 \(T_1\) 的分佈。注意到事件 \(\{T_1>t\}\) 等價於泊松過程在區間 \((0,t]\) 中沒有事件發生，從而
\[F_{T_1}(t)=P(T_1\leq t)=1-P(T_1>t)=1-P(N(t)=0)=1-e^{-\lambda t} \ , \quad t\geq0 \ . \]因此 \(T_1\) 服從引數為 \(\lambda\) 的指數分佈。
接下來考慮 \(T_2\) 在給定 \(T_1=s\) 下的條件分佈。同樣我們可以注意到事件 \(\{T_2>t,T_1=s\}\) 等價於泊松過程在區間 \((s,s+t]\) 中沒有事件發生，從而
\[\begin{aligned} F_{T_2|T_1}(t|s)&=P(T_2\leq t|T_1=s) \\ &=1-P(T_2>t|T_1=s) \\ &=1-P(T_2>t,T_1=s|T_1=s) \\ &=1-P(N(s+t)-N(s)=0|T_1=s) \\ &=1-P(N(s+t)-N(s)=0) \\ &=1-e^{-\lambda t} \ , \quad t\geq0 \ . \end{aligned} \]因此 \(T_2\) 與 \(T_1\) 相互獨立且服從引數為 \(\lambda\) 的指數分佈。
重複同樣的推導可得 \(T_1,T_2,\cdots\) 相互獨立，且同服從引數為 \(\lambda\) 的指數分佈。
Part 3：到達時刻的條件分佈
下面我們再介紹一下到達時刻的條件分佈。如果已知在 \((0,t]\) 內恰好有 \(n\) 個事件發生，我們想要確定這 \(n\) 個事件發生的時刻的概率分佈。首先看恰好有 \(1\) 個事件發生的情況。
定理：設\(\{N(t):t\geq0\}\) 是引數為 \(\lambda\) 的泊松過程。若已知在 \((0,t]\) 內恰好有 \(1\) 個事件發生，則此事件發生的時刻 \(S_1\) 在 \((0,t]\) 內服從均勻分佈。
證明條件均勻分佈，我們只需要求出 \(S_1\) 的條件分佈函式。對任意的 \(0<s\leq t\) 有
\[\begin{aligned} P(S_1\leq s|N(t)=1)&=\frac{P(T_1\leq s,N(t)=1)}{P(N(t)=1)} \\ &=\frac{P(N(s)=1)P(N(t)-N(s)=0)}{P(N(t)=1)} \\ &=\frac{\lambda se^{-\lambda s}\times e^{-\lambda(t-s)}}{\lambda te^{-\lambda t}} \\ &=\frac st \ , \quad 0<s\leq t \ . \end{aligned} \]所以我們有 \(S_1|N(t)=1\sim U(0,t)\) 。
下面我們將結果推廣到 \(n\) 個事件，這裡需要涉及次序統計量的概念，我們只介紹結論而不作證明。
定理：設\(\{N(t):t\geq0\}\) 是引數為 \(\lambda\) 的泊松過程，在已知 \(N(t)=n\) 的條件下，這 \(n\) 個事件的到達時刻 \(S_1,S_2,\cdots,S_n\) 與 \(n\) 個獨立同分布的均勻分佈 \(U(0,t)\) 隨機變數的次序統計量同分布，即
\[(S_1,S_2,\cdots,S_n|N(t)=n)\xlongequal{d}\left(U_{(1)},U_{(1)},\cdots,U_{(n)}\right) \ , \]其中 \(U_{(1)},U_{(2)},\cdots,U_{(n)}\) 為 \(n\) 個獨立同分布的 \(U(0,t)\) 隨機變數 \(U_1,U_2,\cdots,U_n\) 的次序統計量。
補充一個次序統計量的知識點。
設 \(X_1,X_2,\cdots,X_n\) 是來自密度函式為 \(f(x)\) 的連續總體的簡單隨機樣本。即 \(X_1,X_2,\cdots,X_n\) 獨立同分布，且具有密度函式 \(f(x)\) 。把 \(X_1,X_2,\cdots,X_n\) 從小到大排列，即可得到次序統計量
\[X_{(1)}\leq X_{(2)}\leq\cdots\leq X_{(n)} \ , \]則 \(\left(X_{(1)},X_{(2)},\cdots,X_{(n)}\right)\) 具有聯合概率密度函式
\[g(x_1,x_2,\cdots,x_n)=\left\{ \begin{array}{ll} n!f(x_1)f(x_2)\cdots f(x_n) \ , & x_1<x_2<\cdots<x_n \ , \\ 0 \ , & \text{otherwise} \ . \end{array}\right. \]
對於本課程而言，推廣到 \(n\) 個事件的到達時刻的條件分佈僅供瞭解。
Part 4：泊松過程的合成與分解
這部分我們只需掌握以下兩個定理的應用。
定理：設 \(\{N_1(t):t\geq0\}\) 和 \(\{N_1(t):t\geq0\}\) 分別為引數為 \(\lambda_1\) 和 \(\lambda_2\) 的泊松過程，且兩個泊松過程相互獨立，定義 \(N(t)=N_1(t)+N_2(t)\) ，則 \(\{N(t):t\geq0\}\) 是引數為 \(\lambda_1+\lambda_2\) 的泊松過程。
定理：設 \(\{N(t):t\geq0\}\) 是引數為 \(\lambda\) 的泊松過程，若每個事件獨立地且獨立於 \(\{N(t):t\geq0\}\) 以概率 \(p\) 為第一類事件，以概率 \(1-p\) 為第二類事件，定義 \(N_1(t)\) 和 \(N_2(t)\) 分別表示到 \(t\) 時刻為止的第一類事件和第二類事件發生的個數，則 \(\{N_1(t):t\geq0\}\) 和 \(\{N_1(t):t\geq0\}\) 分別是引數為 \(\lambda p\) 和 \(\lambda(1-p)\) 的泊松過程，且相互獨立。
利用泊松過程的第二種定義，可以較為方便地證明這兩個定理，其中最複雜的部分在於證明獨立增量性。這兩個定理的證明不要求掌握，在此便不做贅述。
三、非齊次泊松過程
Part 1：非齊次泊松過程的定義
之前我們所討論的泊松過程均為齊次泊松過程，引數 \(\lambda\) 的含義是事件發生的速率，是一個常數，不會隨時間的改變而改變。下面我們將泊松過程推廣為非齊次的泊松過程，也稱為非平穩的泊松過程，它允許在時間 \(t\) 內事件發生的速率是一個關於 \(t\) 的函式。首先給出非齊次泊松過程的兩種定義。
非齊次泊松過程的第一種定義：計數過程 \(\{N(t):t\geq0\}\) 稱為強度函式為 \(\lambda(t)\ (t\geq0)\) 的非齊次泊松過程，如果滿足以下條件：
- \(N(0)=0\) ；
- \(\{N(t):t\geq0\}\) 是獨立增量過程；
- 稀有性：\(P(N(t+h)-N(t)=1)=\lambda(t)h+o(h)\) ；
- 相繼性：\(P(N(t+h)-N(t)\geq2)=o(h)\) 。
按照如下定義的函式 \(m(t)\) 稱為非齊次泊松過程的均值函式：
\[m(t)=\int_0^t\lambda(y){\rm d}y \ . \]非齊次泊松過程的第二種定義：計數過程 \(\{N(t):t\geq0\}\) 稱為強度函式為 \(\lambda(t)\ (t\geq0)\) 的非齊次泊松過程，如果滿足以下條件：
- \(N(0)=0\) ；
- \(\{N(t):t\geq0\}\) 是獨立增量過程；
- 對任意的 \(0\leq s<t\) ，都有 \(N(t)-N(s)\sim P\left(\displaystyle\int_s^t\lambda(y){\rm d}y\right)\) 。
可以驗證 \({\rm E}(N(t))=m(t)\) ，這就是我們把 \(m(t)\) 稱為均值函式的原因。關於非齊次泊松過程的兩種定義的等價性我們就不再證明了。
非齊次泊松過程的意義在於我們不再需要平穩增量的限制，這可以用來解釋事件在某些時間比在其他時間更有可能會發生的情況。
Part 2：非齊次泊松過程的合成與分解
同樣這裡我們只給出兩個定理。
定理：設 \(\{N_1(t):t\geq0\}\) 和 \(\{N_1(t):t\geq0\}\) 分別是強度函式為 \(\lambda_1(t)\) 和 \(\lambda_2(t)\) 的非齊次泊松過程且相互獨立。定義 \(N(t)=N_1(t)+N_2(t)\) ，則 \(\{N(t):t\geq0\}\) 是引數為 \(\lambda_1(t)+\lambda_2(t)\) 的非齊次泊松過程。
定理：設 \(\{N(t):t\geq0\}\) 是引數為 \(\lambda\) 的泊松過程，若在 \(t\) 時刻發生的事件獨立地且獨立於 \(\{N(t):t\geq0\}\) 以概率 \(p(t)\) 為第一類事件，以概率 \(1-p(t)\) 為第二類事件，定義 \(N_1(t)\) 和 \(N_2(t)\) 分別表示到 \(t\) 時刻為止的第一類事件和第二類事件發生的個數，則 \(\{N_1(t):t\geq0\}\) 和 \(\{N_1(t):t\geq0\}\) 分別是強度函式為 \(\lambda p(t)\) 和 \(\lambda(1-p(t))\) 的非齊次泊松過程，且相互獨立。