SNN_文獻閱讀_Recent Advances and New Frontiers in Spiking Neural Networks
Recent Advances and New Frontiers in Spiking Neural Networks
- 基本要素：包括神經元模型、神經元中脈衝序列的編碼方法、神經網路中每個基本層的拓撲結構
- 神經形態資料集：N-MNIST、DVS-CIFAR10
- 優化演算法：為了理解生物系統——STDP、為了提高計算效能——BP
- 軟體和硬體架構：軟體——BindsNET+Spyketorch、硬體——IBM TrueNorth+Intel Loihi
基本要素：
模型
H-H：
\(\frac{d V}{d t}=-g_{N_{a}}\left(V-V_{N_{a}}\right)-g_{K}\left(V-V_{K}\right)+I\)
LIF：
\(\tau_{m} \frac{d V}{d t}=V_{\text {rest }}-V+R_{m} I\)
Izhivevich：
\(\frac{d V}{d t}=0.04 V^{2}+5 V+140-u+I\)
\(\frac{d u}{d t}=a(b V-u)\)
前沿：目前廣泛使用的為LIF模型。
編碼方法
速率編碼、時態編碼、總體編碼
速率編碼：使用時間視窗中脈衝序列的發射速率來編碼資訊。
時間編碼：利用單個脈衝的相對時間進行編碼，包含脈衝第一次發射的時間和脈衝發射的順序。
總體編碼：結合前兩個的特點，既有精確時間，也結合與其他神經元的關係。
前沿：適合高資訊密度時態編碼演算法。
拓撲結構
與DNN類似，包括全聯接層、迴圈層、卷積層，相應的神經網路為MLP、RNN、CNN。MLP和RNN處理一維特徵，CNN處理二維特徵。
前沿：多點最小模體網路可用作分析複雜網路系統功能的主要網路結構單元。
神經形態資料集
受生物視覺處理機制啟發的神經形態視覺感測器（NVS）：包括動態視覺感測器（DVS）和動態主動成像感測器（DAVIS）
捕捉視野中的光強變化，根據資訊變化方向記錄正負方向的脈衝序列資訊，使NVS低延遲、非同步、稀疏。
神經形態資料集的特點：
- SNN可以自然地處理非同步的、事件驅動的資訊，使其與神經形態資料集的資料特點很好地匹配；
- 嵌入在神經形態資料集中的時間特徵（如精確的觸發時間和幀間的時間相關性）提供了一個極好的平臺，用以證明脈衝神經元利用時空動力學處理資訊的能力。
目前有三類資料集：
- 從現場直接捕獲的資料集
- 轉換資料集（由靜態影象生成，是最常用的資料集）N-MNIST、DVS-CIFAR10
- 生成資料集（通過特定的差異演算法和基於相鄰幀的生成演算法從現有的影象或者視訊流資訊中生成的資料集）
優化演算法
優化演算法的研究可以分為兩類：
- 為了理解生物系統，使用了詳細的生物現實模型，沒有考慮計算效率。
- 為了獲得更高的計算效能，只保留SNN的有限特性。
第一種為：基於微觀尺度、中尺度和巨集觀尺度的塑性優化演算法。
其中，微觀尺度和中尺度演算法是自組織、無監督區域性演算法，巨集觀尺度演算法是有監督全域性演算法。
微觀尺度：單個神經元，STDP、短期可塑性STP、獎勵STDP、Dale rule等。
中尺度：多個突觸和多個神經元之間的關係，側向抑制、自反向傳播
巨集觀尺度：全域性資訊分佈的上下變化。
第二種為：基於BP的不同變體進行SNN的優化，包括偽BP演算法、DNN轉化的SNN等。偽BP的關鍵特徵是在BP過程中將脈衝神經元的非差分部分替換為預定義的梯度數。DNN轉換SNN的基本思想是，在使用ReLU啟用函式的DNN中，SNN中速率編碼下的平均啟用速率可以近似於後續啟用值。
前沿：生物穩定性和效能的有機結合。
軟體和硬體框架
軟體框架
Pytork、BindsNET、SpykeTorch
硬體框架
略