本文為筆者閱讀該文章的筆記整理，有任何問題歡迎與我交流，郵箱是[email protected] / [email protected]

解決獎勵延遲的強化學習演算法：RUDDER

強化學習

一、回顧馬爾可夫決策過程（MDP）：

在進行討論之前我們有必要回顧MDP，MDP是由一個6元組（S,A,R,p,π,γ）唯一確定的，是有限狀態集合，是表示t時刻狀態的隨機變數，A代表動作，代表t時刻動作的隨機變數，R代表獎勵，代表t時刻的獎勵的隨機變數，P是轉移獎勵，比如：

表示t時刻處於s狀態，並執行a動作，在t+1時刻達到狀態並得到獎勵r的概率
策略是指在狀態下的條件概率分佈：

π (A_{t + 1} = a^{'} | S_{t + 1} = s^{'})

期望獎勵為:

r (s, a) = \sum_{r} r p (r | s, a)

回報：

G_{t} = \sum_{k = 0}^{\infty} γ^{k} R_{t + k + 1}

在策略π下的動作-值函式為

q^{π} (s, a) = E_{π} [G_{t} | S_{t} = s, A_{t} = a]

我們學習的目的是為最大化

G_{0}

文章用了大量的篇幅說明了獎勵延遲造成的問題，在此我們不多做介紹，我們只接受事實，獎勵延遲會造成估計的方差變大。

為了解釋這個問題，我們要引入兩個概念：Return-Equivalent（回報等價）以及state-Enriched(狀態豐富)

回報等價的定義：如果兩個MDP僅在 $p (\tilde{r} | s, a)$ 與 $p (r | s, a)$ 不同，但兩者在相同策略下卻有相同的期望回報 ${\tilde{v}}_{0}^{π} = v_{0}^{π}$ ,那麼我們稱這兩個MDP過程是回報等價的。
回報等價的性質：兩個回報等價的過程具有相同的最優策略。
狀態豐富的定義：我們稱一個MDP $\tilde{P}$ 相比於 $P$ 是狀態豐富的，當且僅當 $p$ 同構於 $\tilde{p}$ 的子集,比較直觀的描述是說：如果 $\tilde{p}$ 與 $P$ 擁有相同的狀態、動作、轉移概率，以及獎勵概率.但是 $\tilde{p}$

的狀態擁有更多的更多的資訊。
狀態豐富的性質：狀態豐富不改變最優策略以及 $Q$ -values.

首先，考慮一個即時獎勵的MDP過程，我們將他轉換成一個延時獎勵的MDP過程 $\tilde{p}$ ，這裡有一種很顯然的轉換方式，定義轉換後的過程 $\tilde{p}$ 有如下獎勵：

\begin{matrix} (1) & \begin{aligned} {\tilde{R}}_{t} = {\begin{aligned} 0 f o r t \leq T \\ \sum_{k = 0}^{T} R_{k + 1} f o r t = T \end{aligned} \end{aligned} \end{matrix}