2. 程式人生 > >Q-learning演算法實現

Q-learning演算法實現

阿新 • • 發佈：2019-02-10
create grids for c in range(0, MAZE_W * UNIT, UNIT): x0, y0, x1, y1 = c, 0, c, MAZE_H * UNIT self.canvas.create_line(x0, y0, x1, y1) for r in range(0, MAZE_H * UNIT, UNIT): x0, y0, x1, y1 = 0, r, MAZE_H * UNIT, r self.canvas.create_line(x0, y0, x1, y1) # create
origin origin = np.array([20, 20]) # hell hell1_center = origin + np.array([UNIT * 2, UNIT]) self.hell1 = self.canvas.create_rectangle( hell1_center[0] - 15, hell1_center[1] - 15, hell1_center[0] + 15, hell1_center[1] + 15, fill='black'
) # hell hell2_center = origin + np.array([UNIT, UNIT * 2]) self.hell2 = self.canvas.create_rectangle( hell2_center[0] - 15, hell2_center[1] - 15, hell2_center[0] + 15, hell2_center[1] + 15, fill='black') # create oval oval_center = origin + UNIT * 2
self.oval = self.canvas.create_oval( oval_center[0] - 15, oval_center[1] - 15, oval_center[0] + 15, oval_center[1] + 15, fill='yellow') # create red rect self.rect = self.canvas.create_rectangle( origin[0] - 15, origin[1] - 15, origin[0] + 15, origin[1] + 15, fill='red') # pack all self.canvas.pack() def reset(self): self.update() time.sleep(0.5) self.canvas.delete(self.rect) origin = np.array([20, 20]) self.rect = self.canvas.create_rectangle( origin[0] - 15, origin[1] - 15, origin[0] + 15, origin[1] + 15, fill='red') # return observation return self.canvas.coords(self.rect) def step(self, action): s = self.canvas.coords(self.rect) base_action = np.array([0, 0]) if action == 0: # up if s[1] > UNIT: base_action[1] -= UNIT elif action == 1: # down if s[1] < (MAZE_H - 1) * UNIT: base_action[1] += UNIT elif action == 2: # right if s[0] < (MAZE_W - 1) * UNIT: base_action[0] += UNIT elif action == 3: # left if s[0] > UNIT: base_action[0] -= UNIT self.canvas.move(self.rect, base_action[0], base_action[1]) # move agent s_ = self.canvas.coords(self.rect) # next state # reward function if s_ == self.canvas.coords(self.oval): reward = 1 done = True elif s_ in [self.canvas.coords(self.hell1), self.canvas.coords(self.hell2)]: reward = -1 done = True else: reward = 0 done = False return s_, reward, done def render(self): time.sleep(0.1) self.update()

相關推薦

用Q-Learning演算法實現無人車智慧代理程式

優達學城的第四個專案，通過Q-Learning演算法來實現一個簡單的無人車代駕程式。 先來一張訓練過程的動圖。 需求分析 一個無人車需要滿足的最基本需求就是安全性和可靠性。安全性用來保證使用者安全，可靠性用來保證在限定時間內將使用者送達目的地。安全

Q-learning演算法實現1（matlab）

演算法虛擬碼： 得到Q表後，根據如下演算法選擇最優策略： 以機器人走房間為例，程式碼實現如下： 注：原文中的房間狀態0-5分別對應程式碼中1-6 %機器人走房間Q-learning的實現 %% 基本引數 episode=100; %探索的迭代次數 alph

Q-learning演算法實現

create grids for c in range(0, MAZE_W * UNIT, UNIT): x0, y0, x1, y1 = c, 0, c, MAZE_H * UNIT self.canvas.create_line(x0, y0

用Q-learning演算法實現自動走迷宮機器人

專案描述： 在該專案中，你將使用強化學習演算法，實現一個自動走迷宮機器人。 如上圖所示，智慧機器人顯示在右上角。在我們的迷宮中，有陷阱（紅色炸彈）及終點（藍色的目標點）兩種情景。機器人要儘量避開陷阱、儘快到達目的地。 小車可執行的動作包括：向上走 u、向右走 r、

強化學習之Q-learning演算法

Q-learning演算法     以前在阿里雲上面搭了一個wordpress部落格，最近快畢業了，阿里雲真的很貴，所以轉到CSDN上寫部落格，主要是為了方便以後查詢。     Q-learning演算法是強化學習的一種演

Q-learning演算法實踐

我們將會應用 Q-learning 演算法完成一個經典的 Markov 決策問題 -- 走迷宮！ 專案描述： 在該專案中，你將使用強化學習演算法，實現一個自動走迷宮機器人。 如上圖所示，智慧機器人顯示在右上角。在我們的迷宮中，有陷阱（紅色炸彈）及終點（藍色的目標

強化學習(五)：Sarsa演算法與Q-Learning演算法

上一節主要講了Monte-Carlo learning，TD learning，TD(λ)。這三個方法都是為了在給定策略下來估計價值函式V(s)。只不過Monte-Carlo learning需要得到一個完整的episode才能進行一次v值更新，而TD lear

DQN（Deep Q-learning）入門教程（三）之蒙特卡羅法演算法與Q-learning演算法

## 蒙特卡羅法 在介紹Q-learing演算法之前，我們還是對蒙特卡羅法（MC）進行一些介紹。MC方法是一種無模型（model-free）的強化學習方法，目標是得到最優的行為價值函式$q_*$。在前面一篇[部落格](https://www.cnblogs.com/xiaohuiduan/p/1297330

【強化學習】用pandas 與 numpy 分別實現 q-learning, saras, saras(lambda)演算法

本文作者：hhh5460 本文地址：https://www.cnblogs.com/hhh5460/p/10159331.html 特別感謝：本文的三幅圖皆來自莫凡的教程 https://morvanzhou.github.io/   pandas是基於numpy的，但是兩者之間的操作有區別

Q-learning簡明實例Java代碼實現

day [0 pub and out ons value java代碼 company 在《Q-learning簡明實例》中我們介紹了Q-learning算法的簡單例子，從中我們可以總結出Q-learning算法的基本思想 本次選擇的經驗得分 = 本次選擇的反饋得分 + 本

使用gym庫Classic control實現deep Q learning

本文轉自：https://blog.csdn.net/winycg/article/details/79468320 target="_blank">https://gym.openai.com/envs/   OpenAI gym官網 http

強化學習（七）時序差分離線控制演算法Q-Learning

　　　　在強化學習（六）時序差分線上控制演算法SARSA中我們討論了時序差分的線上控制演算法SARSA，而另一類時序差分的離線控制演算法還沒有討論，因此本文我們關注於時序差分離線控制演算法，主要是經典的Q-Learning演算法。 　　　　Q-Learning這一篇對應Sutton書的第六章部分和UCL強化學

【強化學習】python 實現 q-learning 例二

問題情境 一個2*2的迷宮，一個入口，一個出口，還有一個陷阱。如圖  這是一個二維的問題，不過我們可以把這個降維，變為一維的問題。 0.相關引數 epsilon = 0.9 # 貪婪度 greedy alpha = 0.1 # 學習率 gamma = 0.8 #

【強化學習】python 實現 q-learning 例三

本文作者：hhh5460 本文地址：https://www.cnblogs.com/hhh5460/p/10139738.html 例一的程式碼是函式式編寫的，這裡用面向物件的方式重新擼了一遍。好處是，更便於理解環境(Env)、個體(Agent)之間的關係。 有緣看到的朋友，自己慢慢體會吧。 0.效果

【強化學習】python 實現 q-learning 例四（例二改寫）

陷阱 data img 入口 turn pda state save isod 將例二改寫成面向對象模式，並加了環境！ 不過更新環境的過程中，用到了清屏命令，play()的時候，會有點問題。learn()的時候可以勉強看到:P 0.效果圖 1.完整代碼 相對於例一，

【強化學習】python 實現 q-learning 迷宮通用模板

本文作者：hhh5460 本文地址：https://www.cnblogs.com/hhh5460/p/10145797.html  0.說明 這裡提供了二維迷宮問題的一個比較通用的模板，拿到後需要修改的地方非常少。 對於任意的二維迷宮的 class Agent，只需修改三個地方：MAZE_

【強化學習筆記】6.4 基於值函式逼近的強化學習方法-TD Q-learning線性逼近程式碼實現

針對一個迷宮問題，設計TD Q-learning線性逼近演算法（異策略）。 迷宮圖示見下圖，其中紅色部分為障礙物，綠色部分為出口： 使用的模型是：線性模型 輸入是狀態的特徵，這裡是25維的one-hot編碼 輸出是動作對應的4維陣列 使用t

Reinforcement Learning Q-learning 算法學習-2

action 結果 最小 clas gamma -1 文章 距離 blog 在閱讀了Q-learning 算法學習-1文章之後。 我分析了這個算法的本質。 算法本質個人分析。 1.算法的初始狀態是隨機的，所以每個初始狀態都是隨機的，所以每個初始狀態出現的概率都一樣的。如果訓

CS294-112 深度強化學習 秋季學期（伯克利）NO.6 Value functions introduction NO.7 Advanced Q learning

ted 分享圖片 enc cti solution function part related ons -------------------------------------------------------------------------------

強化學習（八）價值函數的近似表示與Deep Q-Learning

learning 步驟 狀態更新 任務 eva 學習 max wid 表示 　　　　在強化學習系列的前七篇裏，我們主要討論的都是規模比較小的強化學習問題求解算法。今天開始我們步入深度強化學習。這一篇關註於價值函數的近似表示和Deep Q-Learning算法。 　　　　De