2. 程式人生 > >嵌入式中的人工神經網路

嵌入式中的人工神經網路

阿新 • • 發佈：2018-12-04

人工神經網路在AI中具有舉足輕重的地位，除了找到最好的神經網路模型和訓練資料集之外，人工神經網路的另一個挑戰是如何在嵌入式裝置上實現它，同時優化效能和功率效率。 使用雲端計算並不總是一個選項，尤其是當裝置沒有連線的時候。 在這種情況下，需要一個能夠實時進行訊號預處理和執行神經網路的平臺，需要最低功耗，尤其是在一個電池裝置上執行的時候。

通過使用不同的工具(如 python 指令碼) ，可以訓練一個數據格式的網路(在 Caffe 和 Tensorflow)，然後使用Snapdragon 神經處理引擎的SDK將其轉換為可在Snapdragon 平臺上執行的神經網路。

概述

高通的Snapdragon 平臺和Snapdragon 神經處理引擎SDK是一個非常好的選擇，可以在低功耗和小規模裝置上建立一個定製的神經網路。 Snapdragon NPE 是為了給開發者提供工具，使他們能夠輕鬆地將智慧從雲端遷移到邊緣裝置。

Snapdragon NPE 為開發者提供軟體工具，深度神經網路上的工作負載在移動和其他邊緣物聯網(IoT)裝置上，由 Snapdragon 處理器提供軟體工具。 開發者可以為所需的使用者體驗選擇最佳的 Snapdragon 核心—— Qualcomm Kryo CPU、 Qualcomm Adreno GPU 或Hexagon DSP。

本文探討了利用 Matlab 工具在 Snapdragon 平臺上開發和實現神經網路，並主要關注 ONNX 格式。 同時，我們還研究了 Snapdragon 平臺如何通過使用 Snapdragon 核心和 SNPE SDK 提供的工具來幫助減少電力和處理時間。

設計並開發簡單的 DNN

從設計和培訓深度神經網路開始，使用 Matlab並移植帶Snapdragon的設計，尋找Snapdragon上最好的子系統來完成這項工作。

手寫數字識別系統

從使用 DNN 的手寫數字識別系統開始。 這個網路與(音訊數字識別系統)之間的主要區別之一是這個系統沒有對輸入訊號進行任何預處理。 具有異構計算架構的 Snapdragon 平臺擁有強大的音訊和影象處理引擎，使用數字訊號處理(dsp)和圖形處理單元(GPU)進行音訊和影象處理。

該網路是一個基於三層卷積的網路。為了開發和訓練這個網路，可以使用 Matlab，還可以使用 Matlab 的手寫資料庫(與 MNIST 資料庫相同; 關於該資料庫的資料，請檢視 Matlab 文件)。

編寫指令碼

選擇資料庫

[XTrain,YTrain] = digitTrain4DArrayData;

[XValidation,YValidation] = digitTest4DArrayData;

設定圖層

layers = [    imageInputLayer([28 28 1],'Name','input', 'Normalization', 'none')

convolution2dLayer(5,16,'Padding','same','Name','conv_1')

batchNormalizationLayer('Name','BN_1')

reluLayer('Name','relu_1')

convolution2dLayer(3,32,'Padding','same','Name','conv_2')

batchNormalizationLayer('Name','BN_2')

reluLayer('Name','relu_2')

fullyConnectedLayer(10,'Name','fc')

softmaxLayer('Name','softmax')

classificationLayer('Name','classOutput')];

建立網路

 options = trainingOptions('sgdm',...

'MaxEpochs',6,...

'Shuffle','every-epoch',...

'ValidationData',{XValidation,YValidation},...

'ValidationFrequency',20,...

'Verbose',false,...

'Plots','training-progress');

進行訓練(有關訓練過程的細節，參見 Matlab的相關文件)。

640?wx_fmt=png

圖1 訓練結果

為了驗證網路，使用這個影象作為分類器，網路可以正確地對它進行分類。

640?wx_fmt=png

 圖2 分類器

現在，在將網路轉換為 ONNX 格式之後，進入了下一步，即使用 SNPE 工具。

首先，需要將 ONNX 格式轉換為 DLC。

snpe-onnx-to-dlc -m handwritten-onnx --debug

這將建立一個 DLC 格式網路，可用於SNPE。

然後使用此命令，可以驗證網路結構與在 Matlab 中建立的結構是否匹配。

640?wx_fmt=png

圖3 拓撲對比(左側 SNPE DLC，右側 Matlab)

現在使用相同的測試影象並在 Snapdragon 目標板上驗證它。 以下是 ARM，cDSP 和 GPU 的結果摘要，使用了以下步驟:

  • 拉取平臺上不同核(使用 dsp 和使用 gpu)的 snpe-net-run 結果

  • 對照拉取的結果在主機上執行 snpe-diagview

ARM GPU
Dnn Runtime Load/Deserialize/Create Statistics: Load: 4627 us Deserialize: 5148 us Create: 126428 us Average SNPE Statistics: ------------------------------ Total Inference Time: 10956 us Forward Propagate Time: 3080 us Layer Times: --------------- 0: 1 us 1: 1298 us 2: 74 us 3: 8 us 4: 908 us 5: 257 us 6: 16 us 7: 465 us 8: 6 us Dnn Runtime Load/Deserialize/Create Statistics: Load: 4099 us Deserialize: 4931 us Create: 1136097 us Average SNPE Statistics: ------------------------------ Total Inference Time: 3723 us Forward Propagate Time: 3648 us Layer Times: --------------- 0: 5 us 1: 31 us 4: 83 us 7: 381 us 8: 5 us

比較結果表明，DSP 和 GPU 關係密切，但在這些平臺上,與 GPU 相比，cDSP 沒有較大負載(特別是當有圖形應用程式執行時).

使用訊號預處理子系統

到目前為止，已經實現的 DNN 網路不需要對輸入訊號進行任何預處理(比如從輸入影象中提取特徵)。 然而，並不是所有的實現都是這樣。

對於這些情況和實現較低的功耗，可以使用Snapdragon-aDSP，mDSP，cDSP，GPU，dsp/hvx，arm/neon 的不同子系統。看看xDSP和如何使用這些處理器進行特徵提取的例子。

Snapdragon上的Hexagon xDSP

Hexagon DSP 是一種具有 L1/2快取和記憶體管理單元的多執行緒DSP，在大多數 Snapdragon SOC上，它和其他核心一樣可以訪問一些資源。QuRT OS這個獨特的結構建立了一個靈活的 DSP 平臺，為不同的用例建立應用程式。 

640?wx_fmt=png

 

圖4 DSP 硬體體系結構

影象處理

對於實時影象處理，可以在 ISP 管道中注入定製的 HVX 模組。 該模組的管道位置可能不同，取決於Snapdragon 具體型號。 在某些平臺上，可以在相機感測器介面模組之後使用它。

640?wx_fmt=png

圖5 影象的管道處理

或者在其他地方，可以在相機管道的不同位置(紅點)中注入 HVX 模組。 

640?wx_fmt=png

圖6 HVX模組的注入點

或者可以用於 ISP 之後的記憶體轉移中。有幾個例子可以在 Hexagon sdk3.3中找到。

例如，一個使用 HVX 的噪聲640x480影象上的 Sobel 處理，可以使用大約10K 的指令週期。 

640?wx_fmt=png

圖7 噪聲影象的sobel 處理

音訊處理

對於音訊預處理，aDSP 及其 Elite 框架適用於實時特徵提取。 在數字識別系統的 DNN 網路中，該網路的輸入為 Mel-frequency cepstral coefficients (MFCC) ，使用一秒音訊檔案和14個係數，輸入層為14x98。 這個資料是從 https://aiyprojects.withgoogle.com/open_speech_recording 中收集的，每個數字(0-9)使用1500個音訊檔案。 這裡有一個用於數字1的 MFCC 例子。

640?wx_fmt=png

圖8 數字1的音訊訊號

網路配置為 

640?wx_fmt=png

圖9 數字的DNN

DNN將嘗試學習和分類這些型別的影象為不同的數字。 特徵提取部分是在 aDSP 中完成的，是 Elite 框架中音訊路徑拓撲中的一個定製模組。

 

處理方式 ARM GPU DSP
DNN執行時負載 2532 us 1729 us 15103 us
DNN執行時反序列化 1196 us 1168 us 7678 us
DNN執行時建立 122546 us 1137250 us 216279 us
平均SPNE總推理時間 9020 us 3429 us 4289 us
平均SPNE前向傳播時間 3712 us 3382 us 4244 us
平均SPNE層處理時間 0: 2 us 1: 1441 us 2: 117 us 3: 18 us 4: 1736 us 5: 86 us 6: 166 us 7: 91 us 8: 4 us 0: 5 us 1: 132 us 4: 209 us 7: 211 us 8: 4 us 0: 38 us 1: 263 us 2: 1527 us 3: 9 us 4: 154 us 5: 609 us 6: 5 us 7: 128 us 8: 29 us

 

感測器處理

平臺包含一個感測器集線器，是Snapdragon 感測器核心，可以幫助整合來自不同感測器的資料並處理它們。 這種技術可以幫助從中央處理器解除安裝這些任務，減少電池消耗，同時提供更好的效能。 針對感測器行為識別目標的任何感測器資訊的任何DNN預處理都可以從 DSP 上解除安裝，並且可以實時完成。

在上述所有情況下，可以不使用分配的 DSP 進行輸入，而是使用 FastRPC 從 ARM 中解除安裝處理到任何其他子系統(如 mDSP) ，但是這種技術有它自己的處理開銷。

小結

Snapdragon 平臺和 Snapdragon 神經處理引擎SDK提供了強大的平臺和工具，可以在低功耗和小規模的邊緣裝置上建立一個定製的人工神經網路。

（本文編譯自 http://www.embedded-computing.com/iot/artificial-neural-networks-ann-on-snapdragon-based-edge-devices）

 

相關推薦

嵌入式中的人工神經網路

人工神經網路在AI中具有舉足輕重的地位，除了找到最好的神經網路模型和訓練資料集之外，人工神經網路的另一個挑戰是如何在嵌入式裝置上實現它，同時優化效能和功率效率。 使用雲端計算並不總是一個選項，尤其是當裝置沒有連線的時候。 在這種情況下，需要一個能夠實時進行訊號預處理和執行神經網路的平臺，需要最低

R語言——實驗4-人工神經網路（更新中）

帶包實現： rm(list=ls()) setwd("C:/Users/Administrator/Desktop/R語言與資料探勘作業/實驗4-人工神經網路") Data=read.csv("sales_data.csv")[,2:5] library(nnet) colnames(

人工神經網路中的activation function的作用以及ReLu，tanh，sigmoid激勵函式的區別

Leaky ReLU函式 人們為了解決Dead ReLU Problem，提出了將ReLU的前半段設為而非0。另外一種直觀的想法是基於引數的方法，即Parametric ReLU:，其中可由back propagation學出來。理論上來講，Leaky ReLU有ReLU的所有優點，外加不會有Dead Re

人工神經網路及其在醫學影像分析中的應用

摘要：人工神經網路（ANN）是在結構上模仿生物神經聯結型系統，能夠設計來進行模式分析，訊號處理等工作。為了使醫學生和醫務工作者能對神經網路，特別是人工神經網路及其在醫學影象和訊號檢測與分析中的應用有個全面瞭解，本文避免了繁瑣的數學分析與推導，以闡明物理概念為主，深入淺出地就

人工神經網路基礎(1)

人工神經網路（ANN）,是由大量的簡單處理單元組成的非線性、自適應、自組織的系統。 1、單個神經元 如下圖： 在圖中，我們可以看到有r個輸入引數pi，每個pi連線到神經元的線上有一組權值wi，除此之外，還有引數b連線到神經元上。這些值之和為，n將作為輸入代入一個啟用函式中，所以最終

基於OpenCV 人工神經網路的噴碼字元識別（C++）

新手上路記本人做的第一個影象處理實驗 噴碼字元識別流程：讀圖——濾波——二值化——腐蝕——分割——ANN訓練——識別 本例程訓練類別14類（0-9，C、L、冒號、空格）,每類樣本數量50張 搭配環境：VS2017+opencv3.4.1 語言：C++ 由於工程有點大，下面進行簡單介紹，詳情見

python人工神經網路

人工神經網路在模組keras中，實現步驟如下： #bp人工神經網路的實現 #1、讀取資料 #2、匯入對應模組，keras.models  Sequential(建立模型)  |keras.layers.core Dense（建立層）  Activation

人工神經網路ANN程式的理解（python3.0）——單隱層MINST

1資料說明：MNIST包 資料為：28*28*1 單通道28*28的0~9的數字圖片； 訓練資料60000張；測試資料10000張；並且每張圖片對應的label是圖片中顯示的數字 train-images-idx3-ubyte 訓練資料影象 (60,000)

FPGA構建人工神經網路系統應用例項——視障人士便攜導航系統

現場可程式設計門陣列（FPGA）技術不斷呈現增長勢頭， 2013年全球FPGA市場已經增長至35億美元。 1984年Xilinx剛剛創造出FPGA時，它還是簡單的膠合邏輯片，而如今在訊號處理和控制應用中，它已經取代了自定製專用積體電路（ASIC）和處理器。今天來

人工智慧（四）：人工神經網路

在這裡我們只做總結梳理，具體的證明我們並不涉及，只要掌握原理，併為我們所用即可。 一、感知器——單個神經元 在說明神經網路之前，先介紹一下神經網路的基礎計算單元——神經元，也是一直沿用至今的“M-P神經元模型”。在這個模型中，神經元接收到來自n個其他神經元傳遞過來的輸入訊號，這些輸入訊

深度學習之人工神經網路學習

人工神經網路就是把這樣的人工神經元互聯成一個網路：一個神經元的輸出作為另一個神經元的輸入。神經網路可以有多種多樣的拓撲結構。其中最簡單的就是「多層全連線前向神經網路」。它的輸入連線到網路第一層的每個神經元。前一層的每個神經元的輸出連線到下一層每個神經元的輸入。最後一層神經元的

人工神經網路（二）單層感知器

本篇文章，我們開始介紹最簡單的神經網路結構，感知器，在瞭解原理的基礎上，下篇部落格我們程式碼實現一個單層感知器： 感知器： 人工神經網路的第一個里程碑是感知機perceptron， 這個名字其實有點誤導， 因為它根本上是做決策的。 一個感知機其實是對神經元最基本概念的

人工神經網路（一）概述

百科解釋： 人工神經網路（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智慧領域興起的研究熱點。它從資訊處理角度對人腦神經元網路進行抽象， 建立某種簡單模型，按不同的連線方式組成不同的網路。在工程與學術界也常直接簡稱為神

人工神經網路神經元

人工神經網路的每一層由大量的節點（神經元）組成，層與層之間有大量的連線，但是層內部的神經元一般相互獨立。深度學習的目的就是利用已知的資料學習一套模型，使系統在遇見未知的資料時也能夠做出預測。這個過程中神經元具備以下兩個特性： 1，啟用函式，這個函式一般是非線性的函式，也就是

機器學習：支援向量機SVM和人工神經網路ANN的比較

在統計學習理論中發展起來的支援向量機（Support Vector Machines, SVM）方法是一種新的通用學習方法，表現出理論和實踐上的優勢。SVM在非線性分類、函式逼近、模式識別等應用中有非常好的推廣能力，擺脫了長期以來形成的從生物仿生學的角度構建學習機器的束縛。

人臉識別（稀疏表示、人工神經網路）

1. 稀疏表示 對於一個訊號 x，如果 x 中大部分的元素都為 0，只有少部分元素不為0，則稱訊號 x 為稀疏的。或者 x 中大部分元素都為較小值，接近於 0，只有少部分元素為較大值，也可以稱訊號 x 為稀疏的（例如，影象傅立葉變換之後，或者小波變換之後）。

數學之美——google大腦和人工神經網路

人工神經網路可用於解決：分類問題。 人工神經網路設計： 結構（網路分幾層，每層幾個節點，節點之間如何連線） 非線性函式f的設計，常用指數函式。 人工神經網路的訓練 1.監督訓練 - 假設成本函式C：訓練的輸出值與實際輸出值的差距

人工神經網路概念梳理與例項演示

引言 這段時間花了不少精力在瞭解人工神經網路（ANN），對其設計思想和基本演算法有了一定的瞭解，把相關知識整理如下，一方面梳理思路，增強理解，另一方面也希望對想了解ANN的人有點幫助。 1 時代大背景 首先，我們瞭解以下人工神經網路的發展歷史。 19

PyBrain-Python的人工神經網路

python有一個很好用的神經網路庫。雖然sklearn很強大，但是好像對神經網路的支援並不是那麼那好。 1.安裝 安裝很方便，專案是一個開源的，託管在github上。如果你用的也是Anconda平臺，那麼在Anconda Prompt的命令列中敲下 pip install

漫談機器學習經典演算法—人工神經網路

注：整理自向世明老師的PPT 內容提要 1 發展歷史 2 前饋網路（單層感知器，多層感知器，徑向基函式網路RBF） 3 反饋網路（Hopfield網路，聯想儲存網路，SOM，Boltzman及受限的玻爾茲曼機RBM，DBN，CNN） 發展歷史