2. 程式人生 > >強化學習(五)：Sarsa演算法與Q-Learning演算法

強化學習(五)：Sarsa演算法與Q-Learning演算法

阿新 • • 發佈：2019-01-26

上一節主要講了Monte-Carlo learning，TD learning，TD(λ)。這三個方法都是為了在給定策略下來估計價值函式V(s)。只不過Monte-Carlo learning需要得到一個完整的episode才能進行一次v值更新，而TD learning則不用，它可以每走一步就更新一次v值。
但是我們的目標是想得到最優策略，所以我們這一講就是為了通過價值函式，反過來改進策略。兩者互相迭代改進，最終收斂到最優策略與最優價值函式。策略評估與策略改進的思想可以參考強化學習第三講的內容。

On-Policy Monte-Carlo Control

強化學習第三講的策略優化過程分為兩個部分，一個是策略評估，一個是策略改進。從一個策略 π

和v函式開始，先利用當前策略 π估算v值，然後通過v值來更新策略 π。交替迭代，最後會收斂到最優策略和最優價值函式。

上面說的交替迭代是在模型已知的情況下進行的。那麼對於模型未知的情況，是否還能使用呢？答案是不能。模型未知的情況下無法知道當前狀態的所有可能的後續狀態。進而無法確定在當前狀態下應該採取哪個動作是最好的。解決這個問題是利用Q(s,a)來代替V(s)。這樣即使不知道當前狀態的所有後續狀態，我們也可以根據已有的動作來選擇。這樣策略評估與策略改進就變成：從一個策略 π和初始的Q開始，先利用當前策略 π估算q值，然後通過q值來更新策略 π。交替迭代，最後會收斂到最優策略和最優價值動作函式。

不過利用Q(s,a)來代替V(s)有一個問題是，因為不知道當前狀態能夠執行的所有動作，所以只選擇當前最好的動作可能會陷入區域性最優。所以需要偶爾去嘗試新的動作，這就是探索(exploration)。

舉個例子：
如下圖，在你面前有兩扇門，考慮如下的行為、獎勵並使用貪婪演算法改善策略：
這裡寫圖片描述
你開啟左側門得到即時獎勵為０：V(left) = 0；
你開啟右側門得到即時獎勵１：V(right) = +1；
在使用貪婪演算法時(也就是選擇Q(s,a)值最大的那個動作)，接下來你將會繼續開啟右側的門，而不會嘗試開啟左側門。
你開啟右側門得到即時獎勵＋３：V(right) = +2；
你開啟右側門得到即時獎勵＋2：V(right) = +2；
。。。
這種情況下，開啟右側門是否就一定是最好的選擇呢？答案顯而易見是否定的。因此完全使用貪婪演算法改善策略通常不一定會得到最優策略。所以需要引入一個隨機機制，以一定的概率選擇當前的最好策略，同時也有一定的概率選擇其他的動作。這就是ϵ

−greedy演算法。

On-policy Temporal-Difference Control

在強化學習第四講中我們知道，蒙特卡羅學習需要完整的episode才能更新，而TD learning可以做到單步更新。因此，我們可以講上面講的線上蒙特卡羅控制改成線上時序差分學習。下面講的Sarsa就是線上時序差分學習。

Sarsa

這裡寫圖片描述

  • 注意顏色加深那部分，在observe 到s’之後，又在狀態s’下選擇了一個動作a’。而s’ 和a’作為下一次迴圈的狀態s和動作a。也就是說，策略產生的動作，會在下一次迴圈中使用。

Sarsa(λ)演算法

這裡寫圖片描述

  • λ的理解跟強化學習第四講的TD(λ)是一樣的思想。
  • 注意這裡，每走一步之後，都要對之前的所有經歷過的狀態進行更新。

Q-Learning

這裡寫圖片描述

  • 上圖是Q-Learning演算法的虛擬碼。一般來說，episode並不是已經有了之後我們才來迭代(Q-Learning和Sarsa都是屬於TD-Learning)，而是每走一步就更新一次Q(s,a)。所以，虛擬碼中的迭代就是for each step of episode。
  • Choose a from s using policy derived from Q: 這個語句是為了在狀態s下選擇一個動作a來執行。那麼用什麼方法來選呢？括號裡面舉了一個例子：ϵ−greedy貪婪策略，也就是在狀態s下所有可執行的動作a中選擇Q(s,a)最大的那個動作。
  • Take action a, observe r, s’: 上一步選擇了動作之後，就執行該動作，這樣會得到當前reward r，並進入下一個狀態s’。
  • 接下來就是更新Q(s,a)了，更新Q(s,a)時利用了狀態s‘下所有可執行的動作a’中Q(s‘,a’)值最大的那個，比如Q(s’,a1)。但是下次迭代時，在狀態s’下不一定會選擇動作a1，這一點跟Sarsa的區別就在這。

On and Off policy Learning

  • On-policy: Learn about policy π from experience sampled from π。On-policy是指產生資料的策略與評估和要改善的策略是同一個策略。比如，agent採用策略 π取樣，得到了一些episodes，然後就可以估算出v值了，然後再利用v值來改進這個策略。

  • Off-policy: Learn about policy π from experience sampled from μ。Off-policy是指產生資料的策略與評估和改善的策略不是同一個策略。我們用π表示用來評估和改進的策略，用μ表示產生樣本資料的策略。比如一個機器人可以通過學習其他機器人或者學習人類的做法來評估和改進自己的策略。

  • Sarsa是線上(On-policy)演算法而Q-Learning是離線(Off-policy)演算法。
    關於Q-Learning與Sarsa的Python程式碼實現，可以參考我的github：
    sarsa演算法
    sarsa(lambda)演算法
    Q-Learning 演算法

參考資料：
David Silver強化學習公開課

相關推薦

強化學習(五)：Sarsa演算法與Q-Learning演算法

上一節主要講了Monte-Carlo learning，TD learning，TD(λ)。這三個方法都是為了在給定策略下來估計價值函式V(s)。只不過Monte-Carlo learning需要得到一個完整的episode才能進行一次v值更新，而TD lear

DQN（Deep Q-learning）入門教程（三）之蒙特卡羅法演算法與Q-learning演算法

## 蒙特卡羅法 在介紹Q-learing演算法之前，我們還是對蒙特卡羅法（MC）進行一些介紹。MC方法是一種無模型（model-free）的強化學習方法，目標是得到最優的行為價值函式$q_*$。在前面一篇[部落格](https://www.cnblogs.com/xiaohuiduan/p/1297330

強化學習(五) - 無模型學習(Sarsa、Q-Learning)

上一節主要講了Monte-Carlo learning，TD learning。這兩個方法都是在給定策略下來估計價值函式V(s)。 但是我們的目標是想得到最優策略。 基於模型的策略優化過程分為策略評估和策略改進。從一個策略 π 和 v(s) 函式開始，先利用當前

斯坦福CS229機器學習課程筆記一：線性迴歸與梯度下降演算法

機器學習三要素 機器學習的三要素為：模型、策略、演算法。 模型：就是所要學習的條件概率分佈或決策函式。線性迴歸模型 策略：按照什麼樣的準則學習或選擇最優的模型。最小化均方誤差，即所謂的 least-squares(在spss裡線性迴歸對應的模組就叫OLS即Ordinary Least Squares)：

es6學習五：類與繼承

before： function Animal(name){ this.name = name; } Animal.prototype.showName = function(){ console.log(this.name); } var a = new Animal('Tom

強化學習之Q-learning演算法

Q-learning演算法     以前在阿里雲上面搭了一個wordpress部落格，最近快畢業了，阿里雲真的很貴，所以轉到CSDN上寫部落格，主要是為了方便以後查詢。     Q-learning演算法是強化學習的一種演

深度學習之五：序列模型與詞向量

1 迴圈序列模型 1.1 序列模型的適用範圍 序列模型是一種用於處理序列資料的模型，它可以用於語音識別，音樂生成，情感分類，機器翻譯，命名實體識別等。模型的輸出也可能是一個序列。 1.2 相關的符號約定 x<k>x<k>

機器學習(五)：通俗易懂決策樹與隨機森林及程式碼實踐

與SVM一樣，決策樹是通用的機器學習演算法。隨機森林，顧名思義，將決策樹分類器整合到一起就形成了更強大的機器學習演算法。它們都是很基礎但很強大的機器學習工具，雖然我們現在有更先進的演算法工具來訓練模型，但決策樹與隨機森林因其簡單靈活依然廣受喜愛，建議大家學習。 # 一、決策樹 ## 1.1 什麼是決策樹

python學習篇：python簡介與入門

1-1 一行代碼 組合 python代碼 index python語言 cmd https turn 簡介與特點 python語言是由Guido van Rossum在1989年開發的，並最終於1991年初發表。 python是一種面向對象、解釋型的計算機語言，語法簡潔清

u-boot學習(五)：u-boot啟動內核

cor 定義 嵌入式 code efi cpu 頭文件 ng- part u-boot的目的是啟動內核。內核位於Flash中，那麽u-boot就要將內核轉移到內存中。然後執行命令執行之。這些操作是由bootcmd命令完畢的。 bootcmd=nand read.jffs

遊戲UI框架設計(五)： 配置管理與應用

unity界面框架 unityui框架 ui框架配置 unity配置管理 遊戲UI框架設計(五)--配置管理與應用 在開發企業級遊戲/VR/AR產品時候，我們總是希望可以總結出一些通用的技術體系，框架結構等，為簡化我們的開發起到“四兩撥千金”的作用。所謂“配置管理”是指一個遊戲項目（軟件項

Python學習(五)：易忘知識點

imp and 同時存在 dict filter tools 交集 brush 列表 1、列表比較函數cmp >>> a = [1,2,3,4] >>> b = [1,2,3,4,5] >>> c = [1,2,3,4

tensorflow 基礎學習五：MNIST手寫數字識別

truncate averages val flow one die correct 表示 data MNIST數據集介紹： from tensorflow.examples.tutorials.mnist import input_data # 載入MNIST數據集，

flask學習(五)：使用配置文件

.config clas 都是 color con inf family bug conf 1. 新建一個config.py文件 2. 在主app文件中導入這個文件，並且配置到app中，示例代碼如下： import config app.config.from

SpringMVC學習筆記：單例與並發問題

一個 獲得 app parseint 本地服務 屬性 als min c學習 Spring中的Bean默認都是單例（singleton），Spring中Bean的scope屬性有五種類型： singleton 表示在spring容器中的單例，通過spring容器獲得該be

統計學習五：1.決策樹基本概念

目的 條件概率 給定 條件 復雜 操作 噪聲 節點 要求 全文引用自《統計學習方法》（李航） 決策樹(decision tree) 是一種常用的分類與回歸方法。決策樹的模型為樹形結構，在針對分類問題時，實際上就是針對輸入數據的各個特征對實例進行分類的過程，即通過樹形結構

webpack4 系列教程(十五)：開發模式與webpack-dev-server

作者按：因為教程所示圖片使用的是 github 倉庫圖片，網速過慢的朋友請移步《webpack4 系列教程(十五)：開發模式與 webpack-dev-server》原文地址。更歡迎來我的小站看更多原創內容：godbmw.com，進行“姿勢”交流 ♪(^∇^*) 0. 課程介紹和資料 &g

強化學習三：Dynamic Programming

1，Introduction 1.1 What is Dynamic Programming?     Dynamic：某個問題是由序列化狀態組成，狀態step-by-step的改變，從而可以step-by-step的來解這個問題。   &nbs

elasticsearch 筆記十五：相關度評分TF&IDF演算法簡介

演算法介紹 relevance score ,就是計算出一個索引中的文字，與搜尋文字，他們之間的關係，它們之間的關聯匹配度是由Elasticsearch使用的 term frequency/inverse document frequency 演算法，簡稱TF/IDF演算法 Term f

Android JNI 學習(五)：JNI 接口整理 — References Api

-a delet 內存 引用 5.4 cap 兼容 error span 1. NewGlobalRef（創建全局引用） jobjectNewGlobalRef(JNIEnv *env, jobject obj); 創建 obj 參數所引用對象的新全局引用。obj 參數