2. 程式人生 > >深度強化學習cs294 Lecture1: Introduction and Course Overview

深度強化學習cs294 Lecture1: Introduction and Course Overview

阿新 • • 發佈：2018-12-06

cs294 Lecture1: Introduction and Course Overview


第一次看到了該做hw1，然後被嚇退。而今捲土重來，一定好好上完23333

強化學習介紹

當我們要建立一個智慧系統的時候需要考慮什麼？比如在一艘遠洋巨輪上，我們有很好的航行系統和演算法，但是上面依然需要人類船員。因為需要修復一些引擎的損壞，處理很多非常複雜的問題。這些問題目前還無法完全用智慧系統自動完成。

目前我們擁有深度學習。深度學習能夠幫我們直接從非結構化的環境裡提取有用的資訊。我們也有強化學習，強化學習能夠為採取行為提供一個處理機制。所以什麼是深度強化學習，為什麼我們要關注它呢？

傳統的處理影象的演算法可能是通過手動設計特徵，級聯之後放到分類器之中。這很複雜而且繁瑣。但是有了深度學習，直接有了一個端到端的解決方式，特徵的提取直接用深度學習就可以解決。

而普通的強化學習也是通過設計特徵，加上更多的特徵，然後傳到一個線性的策略或是值函式中得到動作。而深度強化學習可以直接通過一個端到端的方式從原始場景裡直接得出動作。

對於一個序列的決策過程，端到端的學習意味著什麼？假如一個類人的智慧體看到叢林中可能有個老虎，普通的方式是先對看到的東西進行一個分類，然後用另一個網路來決策做什麼動作。但是端到端的方式是，通過對感知到的資訊直接處理得到一個動作。

比如ppt上面的兩個控制機器人的例子，都可以直接從原始的影象中得出對於電機控制的命令。

深度學習賦予了強化學習能夠端到端地處理複雜問題的能力。比如一個模擬砸釘子的例子，有時候還能從問題裡學到一些意想不到的解決方案，還有一個很有意思的解決交通擁堵的例子。

為什麼現在學習深度強化學習

  1. 深度學習最近有了大的發展
  2. 強化學習也有了很大的發展
  3. 計算能力的大大提升

現在很多的理論都不是什麼新的東西。比如他提到的1993年的一篇論文裡的一些想法，都依然是目前最前沿的研究方向。

還有很多有意思的案例比如：atari遊戲、實際控制機器人，alphago程式等等，這些本課程裡都有可能涉及。

序列決策需要解決的其他問題

基本的強化學習會學習使用最大化reward的演算法。但是對於序列決策問題來說，這樣做並不是唯一的方式。本門課還會講到一些其它的高階課題比如：

  • 從例子裡學習reward函式（inverse RL）
  • 在不同領域遷移知識（遷移學習，元學習）
  • 學習預測以及利用預測來做動作

reward從哪裡來

很多問題裡的reward很容易得到，比如遊戲裡。很多問題裡卻很難設計，而且不知道如何設計。實際生活中可能有的reward人生中只有一次。比如一個豹子追羚羊的時候，羚羊可能只有一次接收反饋的機會。人腦中也有很多關於反饋的機制。

其他型別的監督學習

  • 從示例中學習
    • 直接複製觀察到的動作
    • 從觀察到的動作中推斷反饋（IRL）
  • 從觀察世界中學習
    • 學習預測
    • 非監督學習
  • 從其它任務中學習
    • 遷移學習
    • 元學習

我們如何建立智慧系統

有的能力我們都可以輕易做到，有的能力必須好好學習。我們可以學會很多事情，包括非常複雜的。儘管我們的學習機制基本上能夠學會所有和智慧有關的東西，但有時候一些硬編碼的程式也有很大的作用。

建立系統時面臨一個選擇，是對於每一個功能都寫一個演算法還是隻用一個演算法來學習所有的能力。ppt中降到很多關於人腦的研究，可以看出的是人腦中的機制有可能是隻有一種，但是可以處理各種各樣的外界資訊。

假如我們只使用一個單個演算法來建立一個智慧系統，那麼它需要完成對於輸入訊號的處理工作以及複雜的決策功能。這就是我們需要深度強化學習的理由。深度表明我們能夠處理複雜的訊號輸入，而強化學習幫助我們做複雜的決策。

有的研究表明深度學習處理的感知訊號得到的特徵與生物腦中的很接近。而強化學習也和人腦的很多機制很相似。

目前深度學習和強化學習可以做到：

  • 在簡單已知的領域中訓練出非常高程度的能力如圍棋
  • 如果給了足夠多的資訊，能夠從原始感知訊號學到簡單的技能
  • 通過模仿提供的人類專家行為學習

目前還非常困難的問題有：

  • 人類可以學得非常快，但演算法還不行
  • 人類可以利用過往經驗，遷移學習還是個開放問題
  • 不知道反饋函式的設計
  • 不清楚預測該做的角色

相關推薦

深度強化學習cs294 Lecture1: Introduction and Course Overview

cs294 Lecture1: Introduction and Course Overview 強化學習介紹 為什麼現在學習深度強化學習 序列決策需要解決的其他問題 reward從哪裡來 其他型別的監督學習

深度強化學習cs294 Lecture5: Policy Gradients Introduction

深度強化學習cs294 Lecture5: Policy Gradients Introduction 1. The policy gradient algorithm 2. What does the policy gradient do?

深度強化學習cs294 Lecture3&Lecture4: Introduction to Reinforcement Learning

深度強化學習cs294 Lecture3&Lecture4: Introduction toReinforcement Learning 1. Definition of a Markov decision process 2. Definit

深度強化學習cs294 Lecture8: Deep RL with Q-Function

深度強化學習cs294 Lecture8: Deep RL with Q-Function 1. How we can make Q-learning work with deep networks 2. A generalized view of Q

深度強化學習cs294 Lecture7: Value Function Methods

深度強化學習cs294 Lecture7: Value Function Methods Value-based Methods Q-Learning Value Function Learning Theory 回憶

深度強化學習cs294 Lecture6: Actor-Critic Algorithms

深度強化學習cs294 Lecture6: Actor-Critic Algorithms 1. Improving the policy gradient with a critic 2. The policy evaluation problem

深度強化學習cs294 HW1: Imitation Learning

終於把第一次作業完成了，不過實現效果貌似很差，調不好了就這樣吧。 Section 1 第一部分先裝環境。沒啥好說的。我用的anaconda直接pip install 對應的作業1資料夾裡的requirement.txt。其中MuJoCo需要啟用個key，可以去官網使用學生郵箱申請一個

深度強化學習cs294 Lecture2: Supervised Learning of behaviors

cs294 Lecture2: Supervised Learning of behaviors Definition of sequential decision problems Terminology & notation

CS294-112 深度強化學習 秋季學期（伯克利）NO.4 Policy gradients introduction

alt blue fun tor 深度 ase gree equal bubuko gree

CS294-112 深度強化學習 秋季學期（伯克利）NO.5 Actor-critic introduction

line batch cto online fit tro function 技術分享 rap in most AC algorithms, we actually just fit valu

CS294-112 深度強化學習 秋季學期（伯克利）NO.6 Value functions introduction NO.7 Advanced Q learning

ted 分享圖片 enc cti solution function part related ons -------------------------------------------------------------------------------

CS294-112 深度強化學習 秋季學期（伯克利）NO.19 Guest lecture: Igor Mordatch (Optimization and Reinforcement Learning in Multi-Agent Settings)

nbsp setting TP for agent image learn ctu Go

CS294-112 深度強化學習 秋季學期（伯克利）NO.9 Learning policies by imitating optimal controllers

image TP 分享圖片 BE http com bubuko cos .com

深度強化學習（一）： Deep Q Network(DQN)

原文：https://blog.csdn.net/LagrangeSK/article/details/80321265 一、背景 DeepMind2013年的論文《Playing Atari with Deep Reinforcement Learning》指

深度強化學習綜述(上)

人工智慧中的很多應用問題需要演算法在每個時刻做出決策並執行動作。對於圍棋，每一步需要決定在棋盤的哪個位置放置棋子，以最大可能的戰勝對手；對於自動駕駛演算法，需要根據路況來確定當前的行駛策略以保證安全的行駛到目的地；對於機械手，要驅動手臂運動以抓取到設定的目標物體。這類問題有一個共同的特點：要根據當前

深度強化學習演算法 A3C （Actor-Critic Algorithm）

對於 A3C 演算法感覺自己總是一知半解，現將其梳理一下，記錄在此，也給想學習的小夥伴一個參考。 　　想要認識清楚這個演算法，需要對 DRL 的演算法有比較深刻的瞭解，推薦大家先了解下 Deep Q-learning 和 Policy Gradient 演

深度強化學習 Deep Reinforcement Learning 學習整理

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

【李巨集毅深度強化學習2018】P3 Q-learning（Basic Idea）

                             第三講 Q-learning（Basic Idea） 視訊地址：http

【李巨集毅深度強化學習2018】P2 Proximal Policy Optimization (PPO)

                         第二講 Proximal Policy Optimization(PPO) 視訊地址：https:/

深度強化學習資源介紹

加拿大阿爾伯塔大學計算機系博士 Yuxi Li 的深度強化學習綜述論文，該論文概述了在深度強化學習（Deep Reinforcement Learning）方面喜人的進展。而這本剛上線的《深度強化學習》手稿對前面的版本《深度強化學習綜述》做了大規模的改進；從一年多前的 70 頁擴充到現在的 150 頁。