淺析Gym中的env

        近期在Gym上做有關強化學習的實驗，用的是OpenAI Gym環境，但是我對於其中的state、observation、action存在疑問，到底這些量都包含什麼呢？

        然後我就去官網的Forum上去找，雖然有人存在相同的疑問，卻沒有人給出回答，所以只能自己去看Github上的環境程式碼了。現在將對Pendulum-v0進行簡要分析，後面用到其他環境時將同樣會分享出來。

        上面這就是Github上的Pendulum的實現程式碼。

        首先，明確目標，我們想要知道Pendulum環境中的state、observation、action分別是什麼。我們現在帶著問題對程式碼進行分析，先來看看_get_obs()函式：

def _get_obs(self):
        theta, thetadot = self.state
        return np.array([np.cos(theta), np.sin(theta), thetadot])

        顯然，stata是Pendulum的角度和角速度，記為th和thdot，至於具體哪個角度我們將在後面進行分析。

        此外，同樣可以看出observation包括了cos(th)、sin(th)、thdot三個量。

        上面這二者的定義很符合我們在強化學習中學到的知識，state是最原始的環境內部的表示，observation則是state的函式。比如說，我們所看見的東西並不一定就是它們在世界中的真實狀態，而是經過我們的大腦加工過的資訊。

        緊接著，我們找到了如下語句：

self.action_space = spaces.Box(low=-self.max_torque, high=self.max_torque, shape=(1,))

        這是action的定義，對於Pendulum問題來說，action space只有一個維度，就是電機的控制力矩，且有最大值和最小值的限制。

        到此為止，我們最初的三個疑問便解決了。那獎勵呢？獎勵是怎麼計算的？

        我們找到如下程式碼：

costs = angle_normalize(th)**2 + .1*thdot**2 + .001*(u**2)
 

        這是代價，而最後_step()函式返回的是：

return self._get_obs(), -costs, False, {}

        也即reward=-costs，所以我們對costs進行分析就可以了。上面return中的done值得注意，一直傳的都是False，所以這個問題沒有所謂的解決一說。

        costs包含三項，一是angle_normalize(th)**2，二是.1*thdot**2，三是.001*(u**2)。第一項我們後面分析；第二項表示對於角速度的懲罰，畢竟如果我們在到達目標位置（豎直）之後，如果還有較大的速度的話，就越過去了；第三項是對於輸入力矩的懲罰，我們所使用的力矩越大，懲罰越大，畢竟力矩×角速度=功率，還是小點的好。

        最後，我們對angle_normalize(th)**2進行分析，顯然，這是對於當前倒立擺與目標位置的角度差的懲罰，那到底th表示哪個角度呢？

        對於angle_normalize()函式分析如下：

def angle_normalize(x):
        return (((x+np.pi) % (2*np.pi)) - np.pi)

        我們先對(x+pi)%(2*pi)-pi進行分析，帶入幾個角度，比如x=pi/4，return=pi/4；x=3*pi/4，return=3*pi/4；x=5*pi/4，return=-3*pi/4。這樣我們就可以繪圖如下：

        這就是我們的th，至此，我們的分析就告一段落啦～

        對了，我們可以通過下面的程式碼對於observation、action的維度進行驗證：

print env.observation_space
print env.action_space

        輸出如下：

       

        嗯，和我們上面的分析一致，OK。

        再囉嗦一下，裡面對於torque、th和thdot都是有限制的：

self.max_speed=8
self.max_torque=2.
high = np.array([1., 1., self.max_speed])
self.action_space = spaces.Box(low=-self.max_torque, high=self.max_torque, shape=(1,))
self.observation_space = spaces.Box(low=-high, high=high)

        cos和sin都是大於-1小於1，thdot大於-8小於8，torque大於-2小於2，至於單位我們就不用考慮咯。

        對了，我們通常使智慧體進行學習時，通常會設定episode的數量以及每一個episode中step的數量，值得注意的是，在gym中，絕大多數環境預設的max_episode_steps=200，也就是說對於一些環境的step函式永遠不會返回一個True的done而言，最多也就跑200個step：

        當然，對於這裡的Pendulum也是一樣，在200個step之後，就會將done設為True，雖然class PendulumEnv中沒有將done設為True：

        關於Pendulum我們就分析到這裡了，下一個環境再見～