版權宣告：本文為博主原創文章，未經博主允許不得轉載。

博主：shenshikexmu

聯絡方式：[email protected]

緣起

DDPG，是Google Deepmind第一篇關於連續動作的深度加強學習論文（是否第一篇存疑）。DQN（Deep Q Network）生成的策略執行的動作是離散或者低維的，雖然在狀態輸入上可以是高維的觀察狀態。如在DQN2014中，有效的動作在4到18個之間，而輸入的狀態是84×84×4的圖片。相對於連續動作，DQN的動作空間太小了，原文的to to simply，使得DQN瞬間淪為香港記者，呵呵。文中舉的例子，是7個自由度（DOF）的機械臂，只是粗糙的控制，每一個DOF只有三種動作狀態

ai∈{−k,0,k} $a_i\in\{-k,0,k\}$，那麼整個機械臂的運動狀態就有$3^7=2187$。這樣的動作空間，DQN在學習中很難一一搜索，更何況一個DOF很難只有三種動作狀態。再加上，簡單離散的動作空間中的動作是不需要根據運動空間的結構進行動作取捨，而在複雜動作操作時這樣的取捨是基本的（Additionally, naive discretization of action spaces needlessly throws away information about the structure of the action domain, which may be essential for solving many problems）。發現這句話理解起來有點難，我的理解是（不保證對），由於DQN運動狀態空間比較少，所有的運動狀態在策略學習時都可以遍歷，取捨的問題直接由策略決定，但連續動作的控制就不行了，不可能每個動作都遍歷，形成策略，策略決定動作取捨。
於是需要新的深度強化學習方法，來解決連續動作空間的策略問題。

背景知識

$s_t=(x_1,a_1,...,a_{t-1},x_t)$
狀態動作軌跡

$\pi: S \rightarrow P(A)$
策略概率$\pi$ ，$\pi$首先是概率分佈，這對理解強化學習很重要。不同的狀態，所對應的不同動作出現的概率。也就是對於特定的$S_i$狀態，$P(A_i)$是個概率分佈，如在$S_i$狀態下，選擇 A

1 $A_1$的動作概率是$P(A_1)$，選擇$A_2$的動作概率是$P(A_2)$。

$p(s_{t+1}\mid s_t,a_t)$
狀態轉移概率，當前狀態是$s_t$，在此狀態下完成$a_t$動作，下一個狀態變成$s_{t+1}$的概率。

$r(s_t,a_t)$
回報函式，這裡給出的$r$值，可不是單獨在$s_t$狀態下，完成$a_t$的回報（演算法要求出的$Q(s_t,a_t)$是單獨在$s_t$狀態下，完成$a_t$的回報），而是之前所有動作在當時特定狀態下的回報的累加。也就是之前的動作對當前的$r$值也是有貢獻的。

$R_t=\sum_{i=t}^{T}\gamma^{i-t}r(s_i,a_i)$
$R_t=\gamma^{0}r(s_t,a_t)+\gamma^{1}r(s_{t+1},a_{t+1})+...\gamma^{T-t}r(s_T,a_T)$
折扣累計獎賞，這是在$s_t$狀態下，完成$a_t$後，在接下來的$T-t$步後，$s_t$狀態和動作$a_t$，累加的獎賞。$R_t$更接近演算法求出的$Q(s_t,a_t)$。說是接近，在於$Q(s_t,a_t)$更像是量子力學中的疊加態，它是概率分佈的，$R_t$更像是坍縮態，也就是你已經知道薛定諤的貓是死是活的結果。

$J=E_{r_i,s_i\sim{E},a_i\sim{\pi}}[R_1]$
首先這是個期望值，這是全篇論文理解的一個眼，這個公式理解了，論文思想理解80%了。裡面包含$s_i\sim{E}$，用周志華《機器學習》中p378中（16.8）的表示方式為$P_{s_i \rightarrow s_{i+1}}^{a_i}$，在狀態$s_i$下，動作$a_i$產生下一個狀態為$s_{i+1}$的概率。$a_i\sim{\pi}$為上面講的策略概率。在DPG2014第一個公式寫得更容易理解：
$J(\pi_\theta)=\int_{S}\rho^{\pi}(s)\int_A\pi_\theta(s,a)r(s,a)dads\\ \qquad =E_{s\sim{\rho^{\pi}},a\sim{\pi_{\theta}}}[r(s,a)]$
兩個公式是一樣的，在概率策略 πθ