馬爾可夫決策模型

書接上回，上次說完了折扣率$\gamma$，最後的公式是
$G_t=R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... + \gamma^{n-1}R_n$
再整理下就是 $G_t=\sum_{k=1}^{n} {\gamma^{k-1} R_{k}}$
接下來開始真是介紹馬爾可夫決策模型，以下簡稱MDP（Markov Decision Processes）
官方定義（來自百度百科）：
馬爾可夫決策過程是基於馬爾可夫過程理論的隨機動態系統的最優決策過程。馬爾可夫決策過程是序貫決策的主要研究領域。它是馬爾可夫過程與確定性的動態規劃相結合的產物，故又稱馬爾可夫型隨機動態規劃，屬於運籌學中數學規劃的一個分支。

馬爾可夫決策過程是一個五元組

這裡多了兩個新面孔P(.,.),R(.,.)，這裡一一解釋下，首先我們之前的$R_t$代表這在時間序列t時獲得的獎勵這裡可以代表一個實數，但是在MDP中這個R需要改變下，因為當前時間序列t之所以能獲得獎勵是因為我們在$s_t$時選擇了$a_t$才產生了$r_t$，但是當前$s_t$下能選擇的未必只有一個動作可能有m個動作，那每一個m的動作都可能會產生不同的r，所以在MDP中R應該代表的是一個函式，入參是當前的state和選擇的action，返回的則是對應的獎勵，表示成$R(s, a)$，用程式碼翻譯的話

def
 
 R(state, action):
	...
	return reward

而新面孔P，則是狀態動作的轉移概率，也可以看成一個函式，即probability,完整的P應該是$P(s', r | s, a)$
同樣翻譯成程式碼的話

def P(state, action):
	...
	return the_probability_of_next_state_and_reward

P就比R複雜很多了，舉一個西瓜書上的例子：
家裡養了一株植物，植物的狀態S有3個缺水，健康，死亡 而我們的目標是培養一個智慧機器人學會怎麼去養活並且養好這株植物，那這個機器人能執行的動作就兩個一個是澆水，一個什麼都不做，所以MDP定義出來就會是：
$S$

=(缺水，健康，死亡)S=(缺水，健康，死亡)
$A=(澆水，不澆水)$
R和P就比較複雜了
如果植物
當前狀態-》選擇的動作-》結果
缺水-》澆水-》80%健康 獎勵1 | 20%缺水 獎勵-1
缺水-》不澆水-》60%缺水 獎勵-1 | 40%死亡 獎勵-10
健康-》澆水-》50%健康 獎勵1 | 50%死亡 獎勵-10
健康-》不澆水 -》 80%健康 獎勵1 | 20% 缺水 獎勵-1
上述的概率都是我隨便假設的，僅僅是討論作用
而死亡是結束狀態，不需要P，因為到了這個狀態，當次的強化學習過程就結束了
那R和P換成上面的函式形態則是
$P(健康, 1 | 缺水, 澆水)=0.8$
$P(缺水, -1 | 缺水, 澆水)=0.2$
$P(缺水, -1 | 缺水, 不澆水)=0.6$
$P(死亡, -10 | 缺水, 不澆水)=0.4$

$P(健康, 1 | 健康, 澆水)=0.5$
$P(死亡, -10 | 健康, 澆水)=0.5$
$P(健康, 1 | 健康, 不澆水)=0.8$
$P(缺水, -1 | 健康, 不澆水)=0.2$

$R(缺水, 澆水)=0.8 * 1 + 0.2 * (-1)$
$R(缺水, 不澆水)=0.6 * (-1) + 0.4 * (-10)$
$R(健康, 澆水)=0.5 * (1) + 0.5 * (-10)$
$R(健康, 不澆水)=0.8 * (1) + 0.2 * (-1)$

$\gamma$=0.9
之所以公式會變成這樣就是因為在當前s下選擇一個動作a，轉移到下一個s’並不是一個100%確定的事情了，所以對應的獎勵r就會變成上面概率乘以獎勵之和。
以上就是MDP的五元組
今日總結：可以看出MDP裡最複雜的地方就是P，但是我們這個P從哪裡來呢？先不說，下回我們就要說到策略了，我們下回再見～