1. 程式人生 > 其它 >Multiscale Dynamic Coding improved Spiking Actor Network for Reinforcement Learning

Multiscale Dynamic Coding improved Spiking Actor Network for Reinforcement Learning

鄭重宣告:原文參見標題,如有侵權,請聯絡作者,將會撤銷釋出!

 

AAAI 2022

 

Abstract

  在深度神經網路(DNN)的幫助下,深度強化學習(DRL)在從遊戲到機器人控制等許多複雜任務上取得了巨大成功。與具有部分受大腦啟發的結構和功能的DNN相比,脈衝神經網路(SNN)考慮了更多的生物學特徵,包括具有複雜動力學的脈衝神經元和具有生物學合理的可塑性原則的學習正規化。受生物大腦中細胞組裝的高效計算的啟發,基於記憶的編碼比讀出複雜得多,我們提出了一種多尺度動態編碼改進的脈衝執行者網路(MDC-SAN),用於強化學習以實現有效的決策。 網路尺度的種群編碼與神經元尺度的動態神經元編碼(包含二階神經元動力學)相結合,形成強大的時空狀態表示。 廣泛的實驗結果表明,我們的 MDC-SAN 在 OpenAI 健身房的四個連續控制任務上的表現優於其對應的深度參與者網路(基於 DNN)。我們認為這是從有效編碼到有效決策的角度改進 SNN 的重大嘗試,就像在生物網路中一樣。