馬爾科夫模型是一種概率圖模型，它描述了一類重要的隨機過程(隨機過程又稱為隨機函式，是隨時間而隨機變化的過程)。我們常常需要考察一個隨機變數序列，這些隨機變數序列並不是相互獨立的，每個隨機變數的值都依賴於這個序列前邊的狀態。

    如果一個系統有N個有限狀態S={s1,s2,…,sN}，那麼隨著時間的推移，該系統將從一個狀態轉換到另一個狀態。Q=(q1,q2,…,qT)為一個隨機序列，它表示為在t時刻系統的狀態qT，值為S中的某個狀態。

系統在時間t處於狀態sj的概率取決於其在時間1,2…,t−1的狀態，該概率為：

P(qt=sj|qt−1=si,qt−2=sk,…)

    如果在特定的條件下，系統在時間t的狀態只與它之前t−1的狀態有關，即

    如果只考慮(1)式獨立於時間t的隨機過程：

    馬爾科夫模型可以視為隨機的有限狀態機。