Policy gradient(策略梯度詳解)
文章目錄
策略梯度基本知識
什麼是策略梯度？
直接根據狀態輸出動作或者動作的概率。那麼怎麼輸出呢，最簡單的就是使用神經網路啦！我們使用神經網路輸入當前的狀態，網路就可以輸出我們在這個狀態下采取每個動作的概率，那麼網路應該如何訓練來實現最終的收斂呢？我們之前在訓練神經網路時，使用最多的方法就是反向傳播演算法，我們需要一個誤差函式，通過梯度下降來使我們的損失最小。但對於強化學習來說，我們不知道動作的正確與否，只能通過獎勵值來判斷這個動作的相對好壞。基於上面的想法，我們有個非常簡單的想法：如果一個動作得到的reward多，那麼我們就使其出現的概率增加，如果一個動作得到的reward少，我們就使其出現的概率減小。
強化學習案例
在強化學習中，環境與rewardnfunction你是不能控制的，玩video game時，環境就是你的遊戲機，然後reword function就是得分規則，你所能改的只有actor。下圍棋也類似。
神經網路的輸入是機器觀察到的場景轉化的向量或者矩陣，輸出是每一個行為的概率。像這種彩圖我們一般用CNN，然後取代了最早的查表方式，以前的actor是table，然後遇到某張圖片就去table裡找對應的行為，用在下棋裡還可能窮舉，如果在自動駕駛領域，這圖片是無法用表存完的。可能你之前沒有給神經網路看過某張圖，但是它還是能得出比較靠譜的結果，所以他具有generalization的特性。
機器先觀察畫面，然後做出了一個action，向右移動，這個action的獎勵是0，然後機器又觀察畫面，做出了開火的action，然後觀察畫面，發現有外星人被擊落，然後獲得reward。
從遊戲開始到遊戲結束被稱為一個episode，那麼機器就是要找到每一個episode中，誰的reward總和最大，然後總和最大的reward的episode所包含的各個action是比較好的！
策略梯度公式詳解
那麼這個Actor的損失函式該怎麼定義呢？給定一個actor，記為Π，然後下表θ代表該神經網路的引數，然後input的s就是機器所看到的場景，然後讓機器實際去玩一下這個遊戲，然後我們要求總的Total reward最大，我們就要將所有的r加起來。但由於即使是使用相同的actor，每一次的總的獎勵也可能不同，於是我們就求總的獎勵的期望即可。
┏是場景，行動，獎勵所組成的向量，如下圖所示，比如說玩遊戲，一個┏就代表了機器看到了第一個畫面，做了某個行為，然後得到什麼獎勵，然後看到第二個畫面，做了某個行為，然後得到什麼獎勵，以此類推，迴圈往復，直到遊戲結束。然後每一個┏都有可能被經歷。當你選擇了某一個actor,也就是選擇了某一個神經網路，那麼會使某一些┏容易出現，某一些不容易出現。那麼Rθ的期望就等於每一次遊戲過程┏的獎勵R與該過程┏出現的機率的乘積之和。那麼窮舉所有的┏顯然不可能，那麼我們就玩N場遊戲，相當於N個訓練資料。
下面的這圖看起來不就是一個巨大的network嗎？然後環境和reward是無法改變的，就相當於下棋的時候機器無法控制對手的操作，機器也無法改變獎勵制度，唯一能改變的就是自己的引數，去適應環境，來使獎勵最大化。
下面我們來看看P(┏|θ)開啟是什麼，畫黃線的部分與你的actor無關，取決於外部環境，也就是遊戲，然後紅線部分與你的actor有關。
求最大你會想到梯度上升的求法，這裡的梯度上升是策略梯度的一部分。
那麼對Rθ期望求微分具體應該怎麼做呢？如下圖，R(┏)肯定不可微，但是沒關係，它的表示式裡沒有θ，所以我只需對P(┏|θ)求導數，然後我們要對其做一下變換，巧用log！！然後畫紅框的兩部分之前推導過可以化為1/N，然後整個表示式就可以化為一個近似的表示式。使用Πθ這個神經網路去玩N次遊戲，可以得到N個┏
利用上述開啟的結論，然後我們利用對數的性質化簡，如下圖所示：然後我們對θ求導！忽視與θ無關的項。然後得出來一個等式。
然後我們將Rθ得期望求導之後得算式寫出來，如下圖：其中，log裡面的那個p所代表的意思就是當前第n回玩遊戲時，t時刻機器所看到的畫面的情況下做出a行為的概率，R(┏n)是指第n回完遊戲時的總的獎勵，然後利用上述得到的結果進行梯度上升。注意：如果我將R(┏n)換成rtn，也就是將第n回玩遊戲的總的獎勵換成第n回玩遊戲時t時刻的獎勵，那麼會發生什麼後果？？如果在剛剛那個射擊遊戲裡，只有開火能得到獎勵，那麼就會導致機器只會開火。
如果在某一次玩遊戲時，機器在看到某個場景時，採取了一個行動，然後總的獎勵是正的，那麼機器就會自己去增加看到這個場景下做出該行動的概率。
下面我們來看看更新model的過程，先是給了一個actor，然後給actor一個┏，然後算出獎勵總和，然後用梯度上升，更新θ，然後再將另一個┏傳給actor，迴圈往復執行。
如何使你的損失函式更好
增加一個基準
那麼這裡有一個問題，我們看下圖，ideal case的第一張圖，a和c的會使總的獎勵變多，那麼機器會傾向於執行a和c的操作，所以a和c的執行機率就變大了，相對的b的機率就減少了。然後我們再看看sampling那一行，b和c可能使我的總的獎勵一直是正的，那麼機器根本就不知道a的情況，萬一a的操作更好呢？？機器只會去學更positive的，b和c的機率也會越來越大，a只會越來越小。這時，我們需要引入一個baseline，如下圖的b，我們將總的獎勵減去一個b值，也就是某一步的獎勵一定要達到某一個標準我才能說它好，否則就是不好。通常我們可以將這個b設為與R(┏)的期望接近的值。
為每一個action分配不同的權重
比如下面是一個簡單的遊戲，就三步，第一組(s,a)得到的獎勵是+5，第二組是0，第三組是-2，然後最後的獎勵是+3,如果我們用之前的那個損失函式，那麼就默認了每一個(s,a)的組合的權重都是+3,這顯然是不靠譜的，雖然總的獎勵是正的，但是明顯裡面有些組合不靠譜，我們就可以給那些不靠譜的組合負的權重。於是我們將R(┏n)換成下圖的樣子。這樣就可以對每一個組合的權重加以區分。
同時，我們再增加一個衰減因子γ，意味著隨著時間推移，組合越來越多，那麼前面的組合對很後面的組合的影響就越來越小。然後我們將紅框框住的那部分重新命名一個函式，叫Advantage function
