起初看馬爾科夫過程是想找一些方法解決現有實驗中的一個問題，但考察下來感覺不適合，但也把學習的東西記下來。

馬爾科夫過程指的是一類隨機過程，該過程具有如下特性：在已知目前狀態 (現在)的條件下，它未來的演變 (將來)不依賴於它以往的演變 ( 過去 ) 。在現實世界中，有很多過程都屬於馬爾可夫過程，例如布朗運動、謠言傳播、遊樂園遊玩人數等。花叢中的一隻蜜蜂的採蜜過程是馬爾可夫過程的一個形象化的例子。蜜蜂依照它瞬間的念頭從一朵花上飛到另一朵花上採蜜，因為蜜蜂是沒有記憶的，當現在所處的花朵位置已知時，它將來飛往何處和它以往呆過的花朵都無關。如果用X0,X1,X2,…分別表示蜜蜂剛開始採蜜的花朵以及將來去的採蜜的花朵，那麼{Xt，t≥0} 就是一個馬爾可夫過程。而Xt+1發生的概率只與Xt有關。由此，我們可以得出馬爾科夫過程的公式：

馬爾科夫過程的公式

讓我們用天氣的預測來進一步解釋馬爾科夫過程的實際應用。假設天氣的狀態有三種：晴天，陰天，雨天。而氣象學家和統計學家合力計算出來一個狀態轉換矩陣M，供預測天氣使用。這個矩陣表面，如果今天是陰天的話，明天還是陰天的概率是0.125。

天氣的狀態轉換矩陣M

我們暫且相信這個狀態轉換矩陣是相對正確的。那麼，問題來了，假設今天是晴天，後天是雨天的概率是多少呢？如果我們假設天氣的狀態都只依賴於前一天的狀態，即馬爾科夫假設，這樣就可以簡化天氣預測問題。我們可以定義今天的天氣狀態向量為X0=[ 1,0,0 ] (晴天)。那麼X2=X0MM（X2=X1M，X1=X0M）。

轉：