【隨機過程】馬爾可夫鏈

標籤（空格分隔）： 【訊號處理】

說明：馬爾科夫鏈是一個離散的馬爾科夫過程，本文主要對基本的研究思路和應用進行梳理，通過具體的例項來總結是一個非常好的嘗試。

馬爾科夫鏈的一個應用案例：排隊論

比如客戶服務排隊，每個人所需的服務時間為Δt，那麼在Δt內，有一個隨機變數γn個人到達。用來研究這隊伍的人數到底是不斷增加還是不斷減少，從而設計幾個合適的視窗能夠保證最大的效益。等等，這類研究就可以通過馬爾科夫鏈來建模。還有天氣預報，股票價格預測，市場佔用率，以及網路丟包等等。比如股票價格預測，過了幾天是上升還是下降呢？可以統計幾種狀態歷史資料，用馬爾科夫鏈進行建模，然後得到狀態轉移概率矩陣。由此，可以根據今天是下降還是上升，或者持平三種初始狀態，對幾天後或者明天的股票價格進行初略的分析。這會是一個很簡單有效的建模方法！

幾個基本概念

如何判斷是否為一個馬爾科夫鏈，並確定其一步狀態轉移矩陣呢？

由下面的定理：

Xn=f(Xn−1,γn)，其中γn是一個獨立同分布的隨機序列，Xn這樣的狀態序列就是一個典型的馬爾科夫鏈，如果狀態序列滿足這樣的表達形式，就可以使用馬爾科夫鏈進行建模。剛才講到的那個排隊論，就是如此，n時刻的人數，在n-1時刻的人數已知的情況下，除了與獨立的隨機變數有關外，與n-1時刻之前的人數都無關係。也就是滿足上面的那個條件，所以，可以用馬爾科夫鏈建模。

一步狀態轉移矩陣

隨機矩陣，行和為1，滿足概率的特點，大於等於0。如何求解呢？很簡單，畫出所有的狀態，行和列，表示的就是從i行經一步，到j列的概率p

ij，從上面那個股票預測的例子中，可以窺知一二，在通常建模中，只有data，歷史的，然後可以經過資料分析，也就是統計，得到對應的狀態轉移概率矩陣。實際應用中一般是這樣的，而在做題中通常會給出一些知識，可以利用行和為1，計算各個轉移概率。

初始時刻的狀態概率分佈

指的是在開始觀察的時刻，馬爾科夫鏈所處狀態的對應的概率分佈，比如共有3個狀態，處在狀態1的概率為1/2，處在狀態2的概率為1/3，那麼處在狀態3的概率為1/6。就是這樣。那麼根據一步轉移概率矩陣和初始狀態概率分佈，可以唯一確定未來時刻n的狀態分佈。一步一步的走，走n步就行了。

有限維聯合概率分佈

p(X0=i0,X1=i1,...

,Xn=in)
表示的含義是啥呢？就是狀態按照一個固定的軌跡鏈X0=i0,X1=i1,...,Xn=in進行演進的概率。

CK方程

說的是n步狀態轉移概率矩陣，當然是齊次的馬爾科夫鏈了。所謂其次，指的是與起始時刻無關，只與間隔的步數有關。n步狀態轉移概率矩陣是一步狀態轉移概率矩陣的n次冪。

一個非常重要的證明技巧：從中間拆出來中間狀態，作為一個緩衝。

那麼CK方程的含義就是馬爾科夫鏈的運動軌跡由一步狀態轉移概率矩陣唯一確定了。

狀態轉移圖

這個圖非常直觀有效，從視覺上可以看出某一個狀態是不是吸收態。所謂吸收態，指的就是pii=1，一旦進入了該狀態，便永遠無法逃脫，類似黑洞了。在現例項子中，對應著自然狀態無系統維修的系統演進終態，就是系統失效，因為無人為參與，所以進入失效狀態，便無法自動好轉了。所以該狀態就是一個典型的吸收態。一旦有了吸收態，該馬爾科夫鏈就確定不是一個不可約鏈了，因為不能實現任意相通。所謂相通就是i到j可達，j到i也可達。可達指的就是經過若干的狀態，可以從i到j，狀態轉移圖的有向圖中有一條通路的含義。還有一個首達時間，首達的概念指的就是第一次經過的步數。

2015-11-04 聽課筆記 張朋藝