目錄

• 第九講 離散時間鞅
  • 一、離散時間鞅
    • Part 1：初等概率論中的條件期望
    • Part 2：離散時間鞅的引入
    • Part 3：離散時間鞅的定義
  • 二、可選停時定理
    • Part 1：離散時間的隨機積分
    • Part 2：停時的定義
    • Part 3：可選停時定理

第九講 離散時間鞅

一、離散時間鞅

Part 1：初等概率論中的條件期望

鞅是一類重要的理論豐富且應用廣泛的隨機過程，這裡我們對關於鞅的理論做一點補充。首先我們先回顧一下初等概率論中的條件期望的定義和性質。

條件期望的定義：設 \(Y_1,Y_2,\cdots,Y_n\) 都是離散型隨機變數，\(X\) 是一個可積的隨機變數，對滿足

\[P(Y_1=i_1,Y_2=i_2,\cdots,Y_n=i_n)>0 \]

的 \(i_1,i_2,\cdots,i_n\) ，令

\[h(i_1,i_2,\cdots,i_n)={\rm E}(X|Y_1=i_1,Y_2=i_2,\cdots,Y_n=i_n). \]

定義給定 \(Y_1,Y_2,\cdots,Y_n\) 的條件下 \(X\) 的條件期望為

\[\mathrm{E}\left(X|Y_1,Y_2,\cdots,Y_n\right)=h(Y_1,Y_2,\cdots,Y_n), \]

它是關於 \(Y_1,Y_2,\cdots,Y_n\) 的函式。

條件期望的性質

：設 \(X\) 與 \(Z\) 均為可積的隨機變數，設 \(a,b\) 是常數，則有

• 線性性：

  \[\mathrm{E}(aX+bZ|Y_1,Y_2,\cdots,Y_n)=a\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)+b\mathrm{E}(Z|Y_1,Y_2,\cdots,Y_n). \]

• 單調性：如果 \(X\leq Z,\ {\rm a.s.}\) ，則

  \[\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)\leq\mathrm{E}(Z|Y_1,Y_2,\cdots,Y_n). \]

• 如果 \(X\) 是關於 \(Y_1,Y_2,\cdots,Y_n\)

  的函式，則 \(\mathrm{E}(X\mid Y_1,Y_2,\cdots,Y_n)=X\) 。

• 如果 \(X\) 是關於 \(Y_1,Y_2,\cdots,Y_n\) 的函式，且 \(XZ\) 可積，則

  \[\mathrm{E}(XZ|Y_1,Y_2,\cdots,Y_n)=X\mathrm{E}(Z|Y_1,Y_2,\cdots,Y_n). \]

• 如果 \(X\) 與 \(Y_1,Y_2,\cdots,Y_n\) 相互獨立，則 \(\mathrm{E}(X\mid Y_1,Y_2,\cdots,Y_n)=\mathrm{E}(X)\) 。

• 全期望公式：

  \[\mathrm{E}\left[\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)\right]=\mathrm{E}(X). \]

• Jensen 不等式：設 \(\phi\) 是凸函式且 \(\phi(X)\) 是可積的，則

  \[\phi\left(\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)\right)\leq \mathrm{E}(\phi(X)|Y_1,Y_2,\cdots,Y_n). \]

Part 2：離散時間鞅的引入

鞅是公平賭博的一種推廣，我們借用一個例子來引出鞅的定義。

首先給出一個簡單隨機遊走模型：設離散型隨機變數 \(Y_1,Y_2,\cdots\) 獨立同分布，其概率分佈列為

\[P(Y_i=1)=p=1-P(Y_i=-1). \]

令 \(S_0=0\) ，對 \(n\geq 1\) ，令 \(S_n=Y_1+Y_2+\cdots+Y_n\) ，則 \(\{S_n\}\) 就是 \(\mathbb{Z}\) 上的簡單隨機遊動，且顯然 \(\{S_n\}\) 是平穩獨立增量過程，是離散時間離散狀態的馬爾可夫鏈。

在一場賭博中，用 \(Y_i\) 表示第 \(i\) 次甲贏的錢數，並且設賭局開始時甲帶了 \(0\) 元錢，則 \(S_n\) 表示經過 \(n\) 次賭博後甲口袋裡的錢數。顯然對甲而言，如果 \(p>0.5\) ，則該賭博對甲有利；如果 \(p<0.5\) ，則該賭博對甲不利；如果 \(p=0.5\) ，則該賭博是公平的。

如果已知前 \(n\) 次賭博之後甲口袋裡的錢數情況，考慮下一次賭博後甲口袋裡的平均錢數。用這個平均錢數與前 \(n\) 次甲口袋裡的錢數作比較，如果增加則說明對甲有利，如果減少則說明對甲不利，如果不變則說明該賭博公平。

這個問題可以用條件期望來刻畫：

\[\begin{aligned} {\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)&={\rm E}(S_{n}+Y_{n+1}\mid S_0,S_1,\cdots,S_n) \\ \\ &=S_n+{\rm E}(Y_{n+1}) \\ \\ &=S_n+2p-1. \end{aligned} \]

由於 \(p\) 的取值不同，會造成以下三種不同的結果：

• 當 \(p\geq0.5\) 時，對 \(\forall n\geq1\) 都有 \({\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)\geq S_n\) ，此時稱 \(\{S_n\}\) 為下鞅。

• 當 \(p\leq0.5\) 時，對 \(\forall n\geq1\) 都有 \({\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)\leq S_n\) ，此時稱 \(\{S_n\}\) 為下鞅。

• 當 \(p=0.5\) 時，對 \(\forall n\geq1\) 都有 \({\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)= S_n\) ，此時稱 \(\{S_n\}\) 為鞅。

直觀地說，下鞅對己方有利或公平，上鞅對己方不利或公平，鞅則對應於公平賭博。

Part 3：離散時間鞅的定義

在公平賭博的基礎上，我們給出離散時間鞅的定義，並結合以下的例子逐步理解。

離散時間鞅的定義：設 \(X=\{X_n:n\geq0\}\) 和 \(Y=\{Y_n:n\geq0\}\) 是兩個隨機過程，且對 \(\forall n\geq0\) 都有 \(X_n\) 可積。如果對 \(\forall n\geq0\) ，都有 \(X_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函式，則稱 \(X\) 關於 \(Y\) 適應。如果對 \(\forall n\geq0\) ，都有

\[{\rm E}(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n)=(\leq,\geq)X_n, \]

則稱 \(X=\{X_n\}\) 是關於 \(Y=\{Y_n\}\) 的鞅 \((\)上鞅 \(,\) 下鞅\()\) 。

獨立隨機變數之和：設 \(Y_0,Y_1,Y_2,\cdots\) 相互獨立，\(Y_0=0,\ {\rm E}(Y_n)=\mu_n\) 。對 \(\forall n\geq0\) ，令

\[S_n=Y_0+Y_1+\cdots+Y_n, \]

則對 \(\forall n\geq0\) ，有 \(S_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函式，且有

\[\begin{aligned} {\rm E}(S_{n+1}\mid Y_0,Y_1,\cdots,Y_n)&={\rm E}(S_{n}+Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n) \\ \\ &=S_n+{\rm E}(Y_{n+1}) \\ \\ &=S_n+\mu_{n+1}. \end{aligned} \]

所以有以下結論：

(1) 隨機過程 \(\{S_n\}\) 是關於 \(\{Y_n\}\) 的鞅 \(\iff\) \({\rm E}(Y_n)=0\) 對 \(\forall n\geq1\) 成立。

(2) 隨機過程 \(\{S_n\}\) 是關於 \(\{Y_n\}\) 的下鞅 \(\iff\) \({\rm E}(Y_n)\geq0\) 對 \(\forall n\geq1\) 成立。

(3) 隨機過程 \(\{S_n\}\) 是關於 \(\{Y_n\}\) 的上鞅 \(\iff\) \({\rm E}(Y_n)\leq0\) 對 \(\forall n\geq1\) 成立。

獨立隨機變數乘積：設 \(Y_0,Y_1,Y_2,\cdots\) 相互獨立且取值為正，\(Y_0=1,\ {\rm E}(Y_n)=\mu_n\) 。對 \(\forall n\geq0\) ，令

\[S_n=Y_0\cdot Y_1\cdot\cdots\cdot Y_n, \]

則對 \(\forall n\geq0\) ，有 \(S_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函式，且有

\[\begin{aligned} {\rm E}(S_{n+1}\mid Y_0,Y_1,\cdots,Y_n)&={\rm E}(S_{n}\cdot Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n) \\ \\ &=S_n\cdot{\rm E}(Y_{n+1}) \\ \\ &=\mu_{n+1}S_n. \end{aligned} \]

由於 \(S_n>0\) ，所以有以下結論：

(1) 隨機過程 \(\{S_n\}\) 是關於 \(\{Y_n\}\) 的鞅 \(\iff\) \({\rm E}(Y_n)=1\) 對 \(\forall n\geq1\) 成立。

(2) 隨機過程 \(\{S_n\}\) 是關於 \(\{Y_n\}\) 的下鞅 \(\iff\) \({\rm E}(Y_n)\geq1\) 對 \(\forall n\geq1\) 成立。

(3) 隨機過程 \(\{S_n\}\) 是關於 \(\{Y_n\}\) 的上鞅 \(\iff\) \({\rm E}(Y_n)\leq1\) 對 \(\forall n\geq1\) 成立。

離散時間鞅的性質：設 \(X=\{X_n\}\) 和 \(Y=\{Y_n\}\) 是兩個隨機過程，\(X\) 關於 \(Y\) 適應，且對 \(\forall n\geq0\) 都有 \(X_n\) 可積，則有

1. \(X\) 是關於 \(Y\) 的下鞅 \(\iff\) \(-X\) 是關於 \(Y\) 的上鞅。

2. \(X\) 是關於 \(Y\) 的鞅 \(\iff\) \(X\) 是關於 \(Y\) 的上鞅，且 \(X\) 是關於 \(Y\) 的下鞅。

3. 鞅全體是線性空間。

4. 若 \(X\) 是關於 \(Y\) 的下鞅，則 \({\rm E}(X_n)\) 是關於 \(n\) 單調遞增函式；

   若 \(X\) 是關於 \(Y\) 的鞅，則 \({\rm E}(X_n)\) 是關於 \(n\) 的常值函式。

5. 設 \(X\) 是關於 \(Y\) 的鞅，\(\phi\) 是凸函式且 \(\phi(X_n)\) 可積，則 \(\{\phi(X_n)\}\) 是關於 \(Y\) 的下鞅。

   特別地，\(\{|X_n|\}\) 和 \(\{X_n^2\}\) 若可積，則是關於 \(Y\) 的下鞅。

6. 設 \(X\) 是關於 \(Y\) 的下鞅，\(\phi\) 是單調遞增凸函式且 \(\phi(X_n)\) 可積，則 \(\{\phi(X_n)\}\) 是關於 \(Y\) 的下鞅。

這裡我們對性質 5 和性質 6 進行簡單的證明：

對 \(\forall n\geq0\) ，有 \(\phi(X_n)\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函式，又因為 \(\phi\) 是凸函式，由 Jensen 不等式可知

\[{\rm E}\left(\phi(X_{n+1})\mid Y_0,Y_1,\cdots,Y_n\right)\geq\phi({\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right)). \]

性質 5 ：設 \(X\) 是關於 \(Y\) 的鞅，則有

\[{\rm E}\left(\phi(X_{n+1})\mid Y_0,Y_1,\cdots,Y_n\right)\geq\phi({\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right))=\phi(X_n). \]

由此可以推得 \(\{\phi(X_n)\}\) 是關於 \(Y\) 的下鞅。

性質 6 ：設 \(X\) 是關於 \(Y\) 的下鞅，且有 \(\phi\) 單調遞增，所以

\[{\rm E}\left(\phi(X_{n+1})\mid Y_0,Y_1,\cdots,Y_n\right)\geq\phi({\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right))\geq\phi(X_n). \]

由此可以推得 \(\{\phi(X_n)\}\) 是關於 \(Y\) 的下鞅。

二、可選停時定理

Part 1：離散時間的隨機積分

這裡我們需要引入一個隨機積分的概念，這個在離散時間的情況下看上去有點難以理解。

設 \(Y=\{Y_n:n\geq0\}\) 是一個隨機過程， 如果對 \(\forall n\geq1\) ，都有 \(H_n\) 是 \(Y_n,Y_1,\cdots,Y_n\) 可測的，即

\[H_n\in\sigma\{Y_0,Y_1,\cdots,Y_n\} \]

則稱隨機過程 \(H=\{H_n:n\geq1\}\) 是關於 \(Y\) 可預測的。

設 \(X=\{X_n:n\geq0\}\) 是關於 \(Y\) 適應的，設 \(H=\{H_n:n\geq1\}\) 是關於 \(Y\) 可預測的，定義一個初始值為 \(X_0\) 的隨機過程 \(Z=\{Z_n:n\geq0\}\) ，滿足

\[Z_n=Z_{n-1}+H_n(X_n-X_{n-1}),\quad n\geq1, \]

則稱過程 \(Z\) 是過程 \(H\) 關於過程 \(X\) 的隨機積分。

鞅基本定理：設 \(X=\{X_n:n\geq0\},\ Y=\{Y_n:n\geq0\},\ H=\{H_n:n\geq1\}\) 是三個隨機過程，且有 \(X\) 是關於 \(Y\) 適應的，\(H\) 是關於 \(Y\) 可預測的。令過程 \(Z=\{Z_n:n\geq0\}\) 是過程 \(H\) 關於過程 \(X\) 的隨機積分，即

\[Z_n=Z_{n-1}+H_n(X_n-X_{n-1})=X_0+\sum_{i=1}^nH_i(X_i-X_{i-1}),\quad n\geq1. \]

假設對 \(\forall n\geq0\) ，都有 \(Z_n\) 可積，則有：

(1) 如果 \(X\) 是關於 \(Y\) 的鞅，則 \(Z\) 也是關於 \(Y\) 的鞅。

(2) 如果 \(X\) 是關於 \(Y\) 的下鞅，且 \(H\) 非負，則 \(Z\) 也是關於 \(Y\) 的下鞅。

注意：如果 \(X\) 可積且對 \(\forall n\geq1\) ，都有 \(H_n\) 有界，則 \(Z_n\) 一定可積。

對 \(\forall n\geq0\) ，由 \(Z_n\) 的定義

\[Z_n=X_0+\sum_{i=1}^nH_i(X_i-X_{i-1}), \]

顯然 \(Z_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函式，或可以理解為 \(Z_n\in \sigma\{Y_0,Y_1,\cdots,Y_n\}\) ，且有

\[\begin{aligned} {\rm E}(Z_{n+1}\mid Y_0,Y_1,\cdots,Y_n)&={\rm E}(Z_{n}+H_{n+1}(X_{n+1}-X_n)\mid Y_0,Y_1,\cdots,Y_n) \\ \\ &=Z_n+H_{n+1}{\rm E}\left(X_{n+1}-X_n\mid Y_0,Y_1,\cdots,Y_n\right) \\ \\ &=Z_n+H_{n+1}\left[{\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right)-X_n\right]. \end{aligned} \]

如果 \(X\) 是鞅，則對 \(\forall n\geq0\) ，都有 \({\rm E}(Z_{n+1}\mid Y_0,Y_1,\cdots,Y_n)=Z_{n}\) ，所以 \(Z\) 是鞅。

如果 \(X\) 是下鞅且 \(H\) 非負，則對 \(\forall n\geq0\) ，都有 \({\rm E}(Z_{n+1}\mid Y_0,Y_1,\cdots,Y_n)\geq Z_{n}\) ，所以 \(Z\) 是下鞅。

Part 2：停時的定義

停時是停止時間的簡稱，是一種特殊的隨機變數，指具有某種與將來無關性質的隨機時刻。

停時的定義：設 \(Y=\{Y_n:n\geq0\}\) 是隨機過程，隨機變數 \(\tau\) 取值為非負整數，且對 \(\forall n\geq0\) ，如果事件 \(\{\tau=n\}\) 由隨機變數 \(Y_0,Y_1,\cdots,Y_n\) 決定，若 \(P(\tau<\infty)=1\) ，則稱 \(\tau\) 是關於 \(Y\) 的停時。

停止過程的定義：設 \(Y=\{Y_n:n\geq0\}\) 是隨機過程，設 \(\tau\) 是關於 \(Y\) 的停時，定義

\[Y^\tau_n=\left\{\begin{array}{ll} Y_n , & n\leq \tau, \\ \\ Y_\tau , & n>\tau, \end{array}\right. \]

則稱隨機過程 \(Y^\tau=\{Y^\tau_n:n\geq0\}\) 為 \(Y\) 的停止過程。

注意：停止過程還可以等價地表示為隨機積分的形式：

\[Y_n^\tau=Y_{\tau\wedge n}=\sum_{k=0}^{n-1}Y_k\bold1_{\{\tau=k\}}+Y_n\bold1_{\{\tau\geq n\}}. \]

令 \(H_n=\boldsymbol1_{\{\tau\geq n\}},\ n\geq 1\) ，則 \(H=\{H_n:n\geq1\}\) 非負，且 \(H\) 是關於 \(Y\) 可預測的，於是 \(Y^\tau\) 是 \(H\) 關於 \(Y\) 的隨機積分。

定理：設 \(\tau\) 是關於 \(Y=\{Y_n:n\geq0\}\) 的停時，\(Y^\tau=\{Y^\tau_n:n\geq0\}\) 是 \(Y\) 的停止過程.

(1) 如果 \(Y\) 是關於 \(Y\) 自身的鞅，即對 \(\forall n\geq0\) ，都有 \({\rm E}(Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n)=Y_n\) ，則停止過程 \(Y^\tau\) 也是關於 \(Y\) 的鞅。

(2) 如果 \(Y\) 是關於 \(Y\) 自身的下鞅，即對 \(\forall n\geq0\) ，都有 \({\rm E}(Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n)\geq Y_n\) ，則停止過程 \(Y^\tau\) 也是關於 \(Y\) 的下鞅。

由隨機積分的定義，停止過程的隨機積分形式還可以改寫為

\[Y_{n}^\tau=Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}(Y_{n}-Y_{n-1}),\quad n\geq1. \]

於是有

\[\begin{aligned} {\rm E}(Y_n^\tau\mid Y_0,Y_1,\cdots,Y_{n-1})&={\rm E}(Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}(Y_{n}-Y_{n-1})\mid Y_0,Y_1,\cdots,Y_{n-1}) \\ \\ &=Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}{\rm E}(Y_{n}-Y_{n-1}\mid Y_0,Y_1,\cdots,Y_{n-1}) \\ \\ &=Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}\left[{\rm E}(Y_{n}\mid Y_0,Y_1,\cdots,Y_{n-1})-Y_{n-1}\right]. \end{aligned} \]

由鞅基本定理可知，定理 (1) 和 (2) 均成立。

Part 3：可選停時定理

規定以下簡稱：如果 \(X\) 是關於 \(X\) 自身的鞅，則簡稱 \(X\) 是鞅。

可選停時定理：設 \(X\) 是鞅，\(\tau\) 是關於 \(X\) 的停時，\(P(\tau<\infty)=1\) ，且 \(X_\tau\) 可積，則有

\[{\rm E}(X_\tau)={\rm E}(X_0) \quad \iff \quad \lim_{n\to\infty}{\rm E}(X_n\mid\tau>n)=0. \]

由之前定理可知，停止過程 \(X^\tau\) 是關於 \(X\) 的鞅，所以由全期望公式容易證明

\[{\rm E}(X_n^\tau)={\rm E}(X_{\tau\wedge n})={\rm E}(X_0^\tau)={\rm E}(X_0). \]

由此可得

\[\begin{aligned} {\rm E}(X_\tau)-{\rm E}(X_0)&={\rm E}(X_\tau)-{\rm E}(X_{\tau\wedge n}) \\ \\ &={\rm E}(X_\tau\mid\tau>n)+{\rm E}(X_\tau\mid\tau\leq n)-{\rm E}(X_n\mid\tau>n)-{\rm E}(X_\tau\mid\tau\leq n) \\ \\ &={\rm E}(X_\tau\mid\tau>n)-{\rm E}(X_n\mid\tau>n). \end{aligned} \]

因為 \(X_\tau\) 可積且 \(P(\tau<\infty)=1\) ，所以由控制收斂定理，

\[\lim_{n\to\infty}{\rm E}(X_\tau\mid \tau>n)=0. \]

因此

\[{\rm E}(X_\tau)={\rm E}(X_0) \quad \iff \quad \lim_{n\to\infty}{\rm E}(X_n\mid\tau>n)=0. \]