一、簡介

機器學習有三大分支，監督學習、無監督學習和強化學習，強化學習是系統從環境學習以使得獎勵最大的機器學習。**人工智慧中稱之為強化學習，在控制論中被稱之為動態規劃，兩者在概念上是等價的。**也被翻譯為增強學習。

二、概念

1. 不同於機器學習的其它兩個分支：

• 它不是無監督學習，因為有回報（Reward）訊號
• 反饋是延時的，而不是即時的
• 資料是與時間有關的序列
• 智慧體的動作與後續的資料有關

2. 強化學習基於一種回報假設：

• 回報是標量反饋訊號
• 表明智慧體（Agent）在這步做得有多好
• 智慧體（Agent）的任務就是最大化累計回報

Reinforcement learning is learning what to do ----how to map situations to actions ---- so as to maximize a numerical reward signal.

強化學習關注的是智慧體如何在環境中採取一系列行為，從而獲得最大的累積回報。

3. 連續決策（Sequential Decision Making）：

• 目標：選擇一個Action儘量最大化將來的總回報
• Aciton可能有長期的影響
• 回報可能延時
• 犧牲即時回報去獲得更好的長期回報

金融投資就是一個這樣的過程。

4. 環境狀態（Environment State）：

• Environment State是Environment私有的表達
• Environment利用這些資料尋找下個Observation或者Reward
• Environment State不總是對Agent可見的
• 即使Environment State是可見的，也有可能包含一些不相關的資訊

5. 智慧體狀態（Agent State）：

• Agent State是Agent的內在表達
• Agent用這些資訊尋找下個Action
• 這些資訊被用於強化學習演算法

6. 資訊狀態（Information State）：包含來自歷史記錄的所有有用的資訊，也稱之為Markov State

• 將來資訊獨立給定現在資訊的過去資訊
• 一旦狀態已知，歷史記錄就可以扔掉
• 這個狀態是將來的充要統計
• Environment State是Markov
• 歷史記錄也是Markov

7. 完全可觀察的環境（Fully Observable Environments）：Agent可以直接觀察到的Environment State

• Agent State = Environment State = Information State
• 這是一個Markov Decision Process

8. 部分可觀察的環境（Partially Observable Environments）

• Agent不能直接觀察到Environment
• Agent State不等於Environment State
• 這是一個Partially Observable Markov Decision Process
• Agent必須建立自己的State表達自己

9. 強化學習智慧體的主要元件（Major Components of an RL Agent）：

• Policy：Agent的習慣函式
• Value Function：每個State或者Action的好壞
• Model：Agent的環境表達

10. 策略（Policy）：

• Policy是Agent的習慣表達
• State到Action的對映
• 確定策略
• 隨機策略

11. 值函式（Value Function）：

• Value Function是將來回報的預測
• 用於評估State的好壞
• 因此，可以用於動作間的選擇

12. 模型（Model）：

• Model預測下一步Environment做什麼
• 預測下個狀態
• 預測下個回報

三、Agent的分類：

1. Value Based：

• Value Function

2. Policy Based：

• Policy

3. Actor Critic：

• Policy
• Value Function

4. Model Free：

• Policy或Value Function

5. Model Based：

• Policy或Value Function
• Model

四、過程：

通過強化學習，一個智慧體（Agent）應該知道在什麼狀態（State）下應該採取什麼行為（Action），這個狀態從以獲取最大的回報（Reward）。強化學習是從環境狀態到動作的對映的學習，我們把這個對映稱之為策略（Policy）。

從David Silver的圖可以看出Agent和Environment之間的關係 ，每個時間點Agent都會根據上一刻的State，從可以選擇的動作集合中選擇一個動作a_t執行，這個動作集合可以是連續的，比如機器人的控制，也可以是離散的比如遊戲中的幾個按鍵，動作集合的數量將直接影響整個任務的求解難度，執行a_t後得到一個Reward。環境收到動作a_t，放出State和Reward。

Agent都是根據當前的State來確定下一步的動作。因此，狀態State和動作Action存在對映關係，也就是一個State可以對應一個Action，或者對應不同動作的概率（概率最高的就是最值得執行的動作）。狀態與動作的關係其實就是輸入與輸出的關係，而State到Action的過程就稱之為一個Policy。我們需要找到這樣一個Policy使得Reward最大。

五、例子

1. 直升機特技飛行
2. 機器人行走
3. 戰勝棋類世界冠軍
4. 玩遊戲比人類還要好

上圖是一個吃豆子游戲，迷宮的每一格就是一種State，Agent在每個State下，應該選擇上下左右這些Action，吃豆子會得到正的Reward，被吃掉則反之。而在每個State下會選擇哪一個Action則是Policy。

輸入是：

• State = Observation，例如迷宮的每一格是一個State
• Actions = 在每個狀態下，有什麼行動
• Reward = 進入每個狀態時，能帶來正面或負面的回報

輸出就是：

• Policy = 在每個狀態下，會選擇哪個行動

再詳細一點就是：

• State = 迷宮中Agent的位置，可以用一對座標表示，例如(1,3)
• Action = 在迷宮中每一格，你可以行走的方向，例如：｛上，下，左，右｝
• Reward = 當前的狀態 (current state) 之下，迷宮中的一格可能有食物 (+1) ,也可能有怪獸 (-100)
• Policy = 一個由狀態 → 行動的函式，即： 函式對給定的每一個狀態，都會給出一個行動

六、預測與控制

1. Prediction：評估未來

• 給定Policy

2. Control：優化未來

• 找到最好的Policy

七、一些問題

1. 強化學習像一個嘗試-錯誤的學習

2. Agent發現一個最好的Policy

3. 來自環境的經驗

4. 在這條路上不要丟掉太多的Reward

5. 探索尋找更多關於Environment的資訊

6. 運用那些可以最大化Reward的資訊

7. 探索和利用通常一樣重要