強化學習筆記四 DP, MC, TD小結

阿新 • • 發佈：2018-12-25

前兩篇介紹了三種RL方法，DP，MC和TD，本篇進行一個總結和對比。

Backup

先來看看backup的區別：
DP
在這裡插入圖片描述
MC

TD

Bootstrapping & sampling

Bootstrapping指更新中包含估計值，sampling指是否用期望還是取樣來更新
DP
Bootstrap, does not sample

MC
no Bootstrap, sample

TD
Bootstrap, sample

MC vs TD

TD 可以在每一步之後更新策略，並且不需要完整的episode，所以TD可以用於持續不終止的環境中。MC需要等一整個eposide結束之後才能更新，episode必須完整，只能用在eposide終止的時候。

MC是0 bias，high variance，TD是some bias，low variance。

MC中的return $G_t$ 是 $v_{π}$

( s ) v_\pi(s)

v_{π} (s)

的無偏估計，TD target

R_{t+1} + \gamma v(s_{t+1})

是有偏估計，真實TD target

R_{t+1} + \gamma v_\pi(s_{t+1})

才是無偏估計。

TD target的方差比return要小，因為return與許多隨機行動，狀態轉移和回饋有關，而TD target只與一個隨機行動相關。

MC對初始值不敏感，一定會收斂，TD對初始值敏感，TD(0)一定會收斂，但其他function approximation不一定。一般來說TD收斂速度會快於MC。

總的來說，MC對於已有資料表現更好，TD對未來資料表現更好。

DP vs TD

在這裡插入圖片描述

強化學習筆記四 DP, MC, TD小結

前兩篇介紹了三種RL方法，DP，MC和TD，本篇進行一個總結和對比。 Backup 先來看看backup的區別： DP MC TD Bootstrapping & sampling Bootstrapping指更新中包含估計值，sampling指是否用期望還是取

強化學習（四）用蒙特卡羅法（MC）求解

自己 img 系列 com AMM $$ 定義 rem 好的　　　　在強化學習（三）用動態規劃（DP）求解中，我們討論了用動態規劃來求解強化學習預測問題和控制問題的方法。但是由於動態規劃法需要在每一次回溯更新某一個狀態的價值時，回溯到該狀態的所有可能的後續狀態。導致對於復

強化學習筆記二 MDP & DP

本篇筆記將會介紹強化學習的基本概念，馬爾可夫決策過程MDP，Bellman方程和動態規劃求解MDP問題。基本概念 history and state history 是一系列觀察，行動和獎勵的集合。state是history的函式，包含當前狀態的資訊，並用於決定下一時刻的行動。

【強化學習筆記】6.4 基於值函式逼近的強化學習方法-TD Q-learning線性逼近程式碼實現

針對一個迷宮問題，設計TD Q-learning線性逼近演算法（異策略）。迷宮圖示見下圖，其中紅色部分為障礙物，綠色部分為出口：使用的模型是：線性模型輸入是狀態的特徵，這裡是25維的one-hot編碼輸出是動作對應的4維陣列使用t

如何輸出格式化的字符串（學習筆記四）

linux python 格式化整數浮點數如何輸出格式化的字符串（學習筆記四）我們經常會輸出類似 ‘親愛的xxx你好！你xx月的話費是xx，余額是xx‘ 之類的字符串，而xxx的內容都是根據變量變化的，所以，需要一種簡便的格式化字符串的方式。在Python中，采用的格式化方式和C語言是一致的，

cocos2d-x-3.1 國際化strings.xml解決亂碼問題 (coco2d-x 學習筆記四)

source ron 文件亂碼問題 resource -s type fileutil ani 今天寫程序的時候發現輸出文字亂碼，盡管在實際開發中把字符串寫在代碼裏是不好的做法。可是有時候也是為了方便，遇到此問題第一時間在腦子裏面聯想到android下的strings

【Unity 3D】學習筆記四十二：粒子特效

空間獲得 material package 一個 log 創建 spa mpi 粒子特效粒子特效的原理是將若幹粒子無規則的組合在一起。來模擬火焰，爆炸。水滴，霧氣等效果。要使用粒子特效首先要創建，在hierarchy視圖中點擊create——particle s

Tomcat學習筆記(四)

客服 list illegal state oid () ons mov tom Servlet容器部分 servlet容器用來處理請求servlet資源，並為web客服端填充response對象模塊，在tomcat中，共有4種類型的容器，分別是：Engi

JavaWeb學習筆記四 request&response

cer 代碼 gbk msi 抓包工具 rom service net war HttpServletResponse 我們在創建Servlet時會覆蓋service()方法，或doGet()/doPost(),這些方法都有兩個參數，一個為代表請求的request和代表響

java 核心學習筆記(四) 單例類

com null tools 初始化 equal inf div 特殊對象如果一個類始終只能創建一個實例，那麽這個類被稱作單例類。一些特殊的應用場景可能會用到，為了保證只能創建一個實例，需要將構造方法用private修飾，不允許在類之外的其它地方創建類的實例。又要保

Python學習筆記(四)

pop rem 通過修改排序 python語言創建 eve () 一、list創建　　list 是Python語言中一種內置的數據類型　　list 中可以存放不同類型的數據　　list = [] #創建一個空列表　　list = [1,2,3] #創建一個非空列

spring學習筆記四：spring常用註解總結

bean logs single 配置文件屬性註入 ring 如果 let ons 使用spring的註解，需要在配置文件中配置組件掃描器，用於在指定的包中掃描註解 <context:component-scan base-package="xxx.xxx.xxx

StackExchange.Redis學習筆記(四) 事務控制和Batch批量操作

成了 pan arp 展示關於 public 連續因此用戶 Redis事物 Redis命令實現事務 Redis的事物包含在multi和exec（執行）或者discard（回滾）命令中和sql事務不同的是，Redis調用Exec只是將所有的命令變成一個單元一起執行，期

Linux學習筆記(四)---centos7系統安裝後的一些簡單操作

完成 oss ctrl http windows images 取ip地址 fig ifconfig centos7系統安裝後的一些簡單操作上次我們通過虛擬機已經安裝完成CentOS7。重啟系統後，進入登陸界面。系統登陸成功後，如下所示：我們虛擬機默認網絡是使用NAT，這

AWS學習筆記(四)--CLI創建EC2時執行腳本

scl type cycle 實例 doc settings shell腳本 system input When you launch an instance in Amazon EC2, you have the option of passing user data t

Bootstrap學習筆記(四)表單input

控件屬性 icon val 制作表單 pan 選擇提示信息 AI 單行輸入框，常見的文本輸入框，也就是input的type屬性值為text。在Bootstrap中使用input時也必須添加type類型，如果沒有指定type類型，將無法得到正確的樣式，因為Bootstra

Maven學習筆記四（坐標和依賴）

Maven學習筆記坐標什麽是坐標？在平面幾何中坐標（x,y）可以標識平面中唯一的一點 Maven 坐標主要組成 groupId：定義當前 Maven 項目隸屬項目、組織 artifactId：定義實際項目中的一個模塊 version：定義當前項目的當前版本

linux初級學習筆記四：Linux文件管理類命令詳解！(視頻序號：03_1)

單詞 linux初級 linux文件管理查看 stat 顯示行數 swd 字符處理行數本節學習的命令：cat(tac)，more，less，head，tail，cut，sort，uniq，wc，tr 本節學習的技能：目錄管理　　　　　　　　文件管理　　　　　　　　

Java學習筆記四:Java的八種基本數據類型

text 封裝 image 情況 p s 浮點數 align 不容易字符 Java的八種基本數據類型　　Java語言提供了八種基本類型。六種數字類型（四個整數型，兩個浮點型），一種字符類型，還有一種布爾型。　　Java基本類型共有八種，基本類型可以分為三類，字符類

python學習筆記(四):生成器、內置函數、json

pen ear 數據數字 strong 通過 lte callable 通用一、生成器生成器是什麽？其實和list差不多，只不過list生成的時候數據已經在內存裏面了，而生成器中生成的數據是當被調用時才生成呢，這樣就節省了內存空間。 1、列表生成式，在第二篇博客

強化學習筆記四 DP, MC, TD小結

Backup

Bootstrapping & sampling

MC vs TD

DP vs TD

相關推薦