看完CS294 Lecture 4，感覺收穫好多，滿滿的都是乾貨啊。太多精華和亮點了，以至於我些筆記都很有壓力，我覺得最好的方法就是對照Lecture 4的PPT一頁一頁地看並理解。

我先前有一篇部落格My Roadmap in Reinforcement Learning ，Karpathy從直覺的角度闡述了Poliy Gradient的思想，如果從嚴格的數學形式來理解證明，可以看CS294的lecture 4。我截取了三張PPT如下，涵蓋了PG的推導，其中的符號含義應該也可以猜到，τ$\tau$表示的是一條馬爾科夫鏈的trajectory。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
policy gradient存在的兩大問題：

• high variance
• slow convergence

high variance主要指的是用reward調製之後的用於反傳的gradient存在很大的variance，注意這裡的high variance指的是gradient，而不是別的。舉一個簡單的例子，比如下面會提到的，其中trajectory是一維的（這樣比較好畫圖），如果把reward函式整個加一個constant，理論上最優解應該不變，但是實際中每一次trajectory更新的梯度都會有很大的差別，詳細的解釋參考CS294視訊 （這一講主要探討high variance的解決辦法）

slow convergence

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

下面PPT上半部分是PG的high variance 問題。除了圖中用的例子來理解，還有一種理解（來自CS321n）就是片面的使用∑Tt=1r(st,at)$\sum _{t=1}^{T}r(s_t,a_t)$來調製gradient，這樣難以關照到不同action的重要性；PPT的下半部分則是PG的slow convergence問題，被Jan Peters和Stefan Schaal在2008年提出的一個

Two tricks for high variance:

• Causality，也就是利用reward的因果性，不再盲目的累加所有的reward，而是讓每一個reward只對當前以及歷史的action的gradient進行調製
• Baseline，baseline的話一般可以減掉平均就好了，但也可以推匯出optimal baseline，不過效果和直接減掉平均差別不大。

然後就是PG是一個on-policy，而且每個trajectory才能更新一下，換作是NN，每次更新又比較小，那麼這樣一來幾乎就沒有efficiency。對此，可以使用importance sampling（IS）來將PG改寫成off-policy，具體就不解釋了，可以看PPT。。

更新：

PG是一個on-policy演算法的原因是，每次θ$\theta$更新之後，都要重新generate samples，這和Q-learning不同（可以重複利用以前舊的θ$\theta$生成的樣本進行訓練）。這裡要謹記的是：on-policy和off-policy的本質區別在於，generate samples的policy和update的policy是不是同一個。比如說，Q-learning，它使用的是ϵ$ϵ$ greedy (ϵ≠0$ϵ\ne 0$)的policy去generate samples，但是被更新θ$\theta$的policy卻是 (ϵ=0$ϵ=0$)的greedy policy，因此是off-policy。

正因為PG是一個on-policy演算法，因此它每次更新θ$\theta$之後都要重新generate samples，所以它永遠不能跳過下圖的step 1:

這樣非常的sample-inefficient。

下面的推導，通過Importance Sampling，使PG成為off-policy，讓它能夠利用舊的θ$\theta$對應的policy所generate的samples。

下圖中的θ$\theta$是舊的policy的引數，而θ′${\theta }^{\prime }$則是我們想要更新的，最新的policy的引數，可以看到，通過利用IS，求期望已經與θ′${\theta }^{\prime }$ policy生成的samples無關了（是在π(θ)$\pi (\theta )$對應policy生成的trajectory samples上求的期望）。至此，PG被轉化成了off-policy

但是，單純地按照上面推出的式子去算，會有問題，如下。給出的解決辦法下面的這個ppt也列出來了，這裡就不講了，在以後講到natural gradient時會講到。