2. 程式人生 > >強化學習學習筆記——介紹強化學習(reinforcement learning)

強化學習學習筆記——介紹強化學習(reinforcement learning)

阿新 • • 發佈：2019-02-05

眾所周知，當AlphaGO戰勝了世界圍棋冠軍李世石之後，整個工業界都為之振奮，越來越多的學者意識到強化學習在人工智慧領域是一個非常令人exciting的。在此我就分享一下本人的強化學習學習筆記。

強化學習基本概念

機器學習可以分為三類，分別是 supervised learning，unsupervised learning 和reinforcement learning。而強化學習與其他機器學習不同之處為：

  1. 沒有教師訊號，也沒有label。只有reward，其實reward就相當於label。
  2. 反饋有延時，不是能立即返回。
  3. 相當於輸入資料是序列資料。

  4. agent執行的動作會影響之後的資料。

    強化學習的關鍵要素有：environment，reward，action 和 state。有了這些要素我們就能建立一個強化學習模型。強化學習解決的問題是，針對一個具體問題得到一個最優的policy，使得在該策略下獲得的reward最大。所謂的policy其實就是一系列action。也就是sequential data。
    強化學習可用下圖來刻畫，都是要先從要完成的任務提取一個環境，從中抽象出狀態(state) 、動作(action)、以及執行該動作所接受的瞬時獎賞(reward)。
    這裡寫圖片描述

    reward

    reward通常都被記作Rt，表示第t個time step的返回獎賞值。所有強化學習都是基於reward假設的。reward是一個scalar。

    action

    action是來自於動作空間，agent對每次所處的state用以及上一狀態的reward確定當前要執行什麼action。執行action要達到最大化期望reward，直到最終演算法收斂，所得的policy就是一系列action的sequential data。

    state

    就是指當前agent所處的狀態。具體來講，例如玩pong遊戲(Atari的遊戲)，這裡寫圖片描述該遊戲的狀態就是當前time step下小球的位置。而Flappy bird狀態就是當前小鳥在平面上的位置。這裡寫圖片描述

    policy

    policy就是隻agent的行為，是從state到action的對映，分為確定策略和與隨機策略，確定策略就是某一狀態下的確定動作a

    =π(s), 隨機策略以概率來描述，即某一狀態下執行這一動作的概率：π(a|s)=P[At=a|St=s]。

    value function

    因為強化學習今本上可以總結為通過最大化reward來得到一個最優策略。但是如果只是瞬時reward最大會導致每次都只會從動作空間選擇reward最大的那個動作，這樣就變成了最簡單的貪心策略(Greedy policy)，所以為了很好地刻畫是包括未來的當前reward值最大（即使從當前時刻開始一直到狀態達到目標的總reward最大）。因此就夠早了值函式（value function）來描述這一變數。表示式如下：
    這裡寫圖片描述
    γ是折扣係數(取值在[0,1])，就是為了減少未來的reward對當前動作的影響。然後就通過選取合適的policy使value function最大，稍後會為大家推導著名的bellman方程，bellman方程才是強化學習各大演算法（e.g. 值迭代，策略迭代，Q-learning）的源頭。

    model

    model就是用來預測環境接下來會幹什麼，即在這一狀態的情況下執行某一動作會達到什麼樣的狀態，這一個動作會得到什麼reward。所以描述一個模型就是用動作轉移概率與動作狀態reward。具體公式如下：
    這裡寫圖片描述

馬爾可夫決策過程(MDP)

大家應該都很熟悉馬爾科夫過程，其實就是狀態以及某狀態的轉移，最重要的就是一步轉移概率矩陣，只要有了這個一步轉移概率矩陣就能刻畫整個馬爾科夫過程。
這裡寫圖片描述
下面就來介紹一下馬爾可夫決策過程（MDP）它主要由以下幾個變數來刻畫，狀態空間S（是一個有限集合），動作空間A（一個有限動作集合），狀態轉移概率矩陣P，獎賞函式R 以及折扣因子γ（γ∈[0,1]）。
下面介紹一個MDP常用的用來刻畫獎賞的函式。
1.return Gt
t時刻之後未來執行一組action後能夠獲得的reward，即t+1，t+2…所有時刻的reward之和。（未來時刻的reward在當前時刻體現），後面的reward要乘以discountγ 係數。表示式如下:
這裡寫圖片描述
2.狀態值函式v(s)
定義為t時刻狀態S能獲得的return的期望，表示式如下:
這裡寫圖片描述
3.動作值函式qπ(s,a)
t時刻狀態S下選擇特定action後能獲得的return的期望，表示式如下:
這裡寫圖片描述

下面來講解一下最著名的bellman方程的推導，首先推導如何迭代值函式，即更新值函式：
1.value function

v(s)=E[Gt|St=s]=E[Rt+1+γ(Rt+2+γRt+3+...)|St=s]=E[Rt+1|St=s]+γE[Gt+1|St=s]=ERs+γ∑Gt+1P[Gt+1|St=s]=ERs+γ∑Gt+1∑s′P[Gt+1|St+1=s′,St=s]∗P[St+1=s′|St=s]=ERs+γ∑s′∈Sv(s′)Pss′
2.Q-value function
∵v(s)=E[Gt|St=s]=∑a∈AP[At=a|St=s]∗E[Gt|St=s,At=a]=π(

相關推薦

強化學習學習筆記——介紹強化學習(reinforcement learning)

眾所周知，當AlphaGO戰勝了世界圍棋冠軍李世石之後，整個工業界都為之振奮，越來越多的學者意識到強化學習在人工智慧領域是一個非常令人exciting的。在此我就分享一下本人的強化學習學習筆記。 強化學習基本概念 機器學習可以分為三類，分別是 super

機器學習基石筆記-Lecture 3 Types of learning

mage 針對 也有 tac nts 反饋 機器學習 ear odi 介紹了機器學習中的幾類問題劃分。 半監督學習能夠避免標記成本昂貴的問題。 強化學習，可以看做是從反饋機制中來學習。 在線學習，數據一個接一個地產生並交給算法模型線上叠代。 主動學習，機器能

吳恩達-深度學習-課程筆記-6: 深度學習的實用層面( Week 1 )

data 絕對值 initial 均值化 http 梯度下降法 ati lod 表示 1 訓練/驗證/測試集( Train/Dev/test sets ) 構建神經網絡的時候有些參數需要選擇，比如層數，單元數，學習率，激活函數。這些參數可以通過在驗證集上的表現好壞來進行選擇

《機器學習》筆記--4 整合學習boosting and bagging

Boosting 特點：個體學習器之間存在強依賴關係、必須序列生成的方法。關注偏差的降低。 方法： 先從初始訓練集選練出一個弱學習器，再根據弱學習器的表現進行樣本分佈的調整，提高那些被錯誤學習的樣本的權值，降低那些被正確學習的樣本的權值，然後繼續訓練下一個弱學習器。最後將一

臺大林軒田機器學習課程筆記3----機器學習的可行性

引例 先引入一個矛盾問題： 圖3.1 圖案學習問題 這是一道推理題，根據第一行和第二行圖形的規律分別輸出-1和+1，然後通過上述規則學習推理出第三行圖形的輸出。每個人通過學習所獲得的答案是會不一致的，例如通過對稱的規律可以得到第三行的圖形f=+1，而如果通過圖案

臺大林軒田機器學習課程筆記2----機器學習的分類

1. 根據輸出集合 二分類 根據輸出空間，二分類的輸出結果只有兩種，即y={-1,1}，具體的應用包括： *信用卡申請問題：Client Data=>Accept or Deny 郵件分類問題：Email Text=>Rubbish or Not 病人生病問

機器學習c12筆記：SVM學習與SVM,邏輯迴歸和kNN比較

SVM 摘自百度百科 參考書籍:機器學習實用案例解析 SVM原理 SVM方法是通過一個非線性對映p，把樣本空間對映到一個高維乃至無窮維的特徵空間中（Hilbert空間），使得在原來的樣本空間中非線性可分的問題轉化為在特徵空間中的線性可分的問題．簡單地說，

機器學習基石筆記：04 Feasibility of Learning

機器學習是設計演算法\(A\)，在假設集合\(H\)裡，根據給定資料集\(D\)，選出與實際模式\(f\)最為相近的假設\(g\)（\(g\)可能與\(f\)相同，也可能不同）。 那什麼情況下學習是可行的？即保證\(g\)和\(f\)是相似的。 資料集內的表現\(g\)約等於\(f\);

統計學習方法筆記二---感知機(Perceptron Learning Algorithm,PLA)

簡介 感知機（perceptron）是二分類的線性分類模型，其輸入為例項的特徵向量，輸出為例項的類別，取+1和-1二值。感知機對應於輸入空間（特徵空間）中將例項劃分為正負兩類的分離超平面，屬於判別模型，解決的問題是分類問題。 目標/目的：求出將訓練資料進行線

李巨集毅機器學習課程筆記-1.機器學習概論

# 機器學習是什麼 **機器學習就是讓機器能自動找到一個函式（function）** - 語音識別（Speech Recognition） 輸入是音訊，輸出是音訊對應的文字。 - 影象分類 輸入是圖片，輸出是類別（比如貓、狗）。 - AlphaGo下圍棋 輸入是當前棋盤的狀態，輸出是下一步

視覺場景理解論文閱讀筆記2:Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story

一、文章相關資料二、閱讀筆記1.論文思想       針對序列影象生成故事描述的需求，使用層次結構的網路進行解碼學習。高階網路用於學習序列中每幅影象的語義資訊，所屬主題；低階網路用於根據學到的主題與語義屬性逐詞逐句生成句子描述。2.結構（1）Manager-Worker 框架

強化學習導論(Reinforcement Learning: An Introduction)讀書筆記(一)：強化學習介紹

因為課題轉到深度強化學習方面，因此開始研究強化學習的內容，同時在讀這方面的書，並將Reinforcement Learning: An Introduction（Richard S. Sutton and Andrew G.Barto）第二版作為主要的學習資料，

[Reinforcement Learning] 強化學習介紹

nes function ssi 屬於 發展 當前 nts view 方式 隨著AlphaGo和AlphaZero的出現，強化學習相關算法在這幾年引起了學術界和工業界的重視。最近也翻了很多強化學習的資料，有時間了還是得自己動腦筋整理一下。 強化學習定義 先借用維基百科上對強

強化學習（Reinforcement Learning）背景介紹

強化學習前世今生 如今機器學習發展的如此迅猛，各類演算法層出不群，特別是深度神經網路的發展，為非常經典的強化學習帶來了新的思路，雖然強化學習一直在發展中，但在2013年這個關鍵點，DeepMind大神David Sliver使用了神經網路逼近函式值後，開始了新的方向，又一發不可收

1 強化學習（Reinforcement Learning, RL）初步介紹

當前的機器學習演算法可以分為3種：有監督的學習（Supervised Learning）、無監督的學習（Unsupervised Learning）和強化學習（Reinforcement Learning），結構圖如下所示： 其他許多機器學習演算法中學習器

強化學習導論（Reinforcement Learning：An Introduction）學習筆記（一）

Introduction ​ 我們在思考學習本質時首先想到的可能就是通過與我們的環境進行互動從而學習。當一個嬰兒玩耍時，揮動著他的手臂，雖然看起來，他沒有明確的老師，但他確實與他的環境有直接的感覺聯絡。並且這種聯絡可以產生大量關於因果，行為後果以及為了實現

模型彙總18 強化學習（Reinforcement Learning）基礎介紹

1、背景介紹 學習和推理是人類智慧最重要的體現，為了使計算機也能夠像人一樣學習和決策，機器學習技術應運而生。機器學習利用計算機來模擬和實現人類學習和解決問題的過程，計算機系統通過不斷自我改進和學習，自動獲取知識並作出相應的決策、判斷或分析。機器學習是人工智慧的一個重要的

強化學習導論（Reinforcement Learning：An Introduction）學習筆記（六）

強化學習導論 1.6小結 強化學習是一種理解和自動進行目標導向學習和決策的計算方法。它與其他計算方法不同之處在於它強調了代理與環境的直接互動學習，而不依賴於監督或完整的環境模型。在我們看來，強化學習是第一個認真處理在學習與環境的互動時產生的計算問題，

CS294-112 深度強化學習 秋季學期（伯克利）NO.19 Guest lecture: Igor Mordatch (Optimization and Reinforcement Learning in Multi-Agent Settings)

nbsp setting TP for agent image learn ctu Go

強化學習（Reinforcement Learning）知識整理

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！