1. 程式人生 > >一種神經元探索系統方法及裝置

一種神經元探索系統方法及裝置

最大 計算性能 限制 硬件加速 芯片 使用 信號 所有 權重

發明背景與現有技術
應用背景
深度學習已經在圖像分類檢測、遊戲等諸多領域取得了突破性的成績。由於人工神經網絡計算量大,訓練時間長。因此,相關的硬件加速平臺也在百花齊放,包括基於英偉達的GPU、谷歌的TPU、以及FPGA實現的神經網絡硬件平臺。神經網絡的結構復雜多樣、計算量大的特點,給硬件設計帶來了巨大挑戰。
原有技術及問題
(1)傳統神經網絡
基於傳統的CPU完成運算,缺點是神經網路的神經元眾多,由於單機的CPU個數限制,整個網絡的並行計算性能不高。
(2)硬件加速神經網絡
通常基於FPGA 等可編程芯片,這樣的神經網絡運算能力強,並行性好。但是這樣的神經網絡,其硬件實現的底層神經元缺乏自適應學習和演化能力。



本發明技術方案
神經網絡互連模型
如右圖,每一個方塊表示一個神經元,以二維硬件模型(如FPGA)為例,每一個神經元連接著另外四個神經元。整個模型有三類輸入輸出:
(1)任意輸入,每一個輸入連接到一個神經元上;
(2)任意輸出,每一個輸出連接到一個神經元上;
(3)獎勵反饋輸入,連接到所有神經元上。
此外,兩個相連神經元之間的連接為一個或多個浮點數(用以記憶神經網絡參數)存儲單元。
神經元,內部是一個多層神經網絡的結構,帶有自適應學習和演化能力
(1)多層神經網絡有五個輸入:分別表示四個連接存儲單元的大小和一個獎勵反饋信號的大小;
(2)多層神經網絡有四個輸出:四個連接存儲單元的變化率;
(3)使用優化算法(如遺傳算法、強化學習或者策略梯度)來優化神經網絡的權重以最大化長時平均獎勵(一段時間的平均獎勵)
(4)優化的每一個叠代使用多種不同常用機器學習問題來進行訓練。監督學習和無監督學習都需要提前轉化為強化學習問題

本發明的技術保護點
本文提出神經元探索系統設計方法,包括神經網絡互連模型,帶有自適應學習和演化能力的神經元設計等



本發明有益效果
解決問題
1)神經元具備自適應學習和演化能力,可以構建結構復雜多樣的神經網絡。


一種神經元探索系統方法及裝置