摘要:

　　在深度學習中,為了提升資料傳輸頻寬和計算效能,經常會使用NCHW、NHWC和CHWN資料格式,它們代表Image或Feature Map等的邏輯資料格式(可以簡單理解為資料在記憶體中的存放順序)。本文以百度的AI端上推理裝置EdgeBoard為原型,介紹EdgeBoard選擇NHWC資料格式的技術考量。

　　EdgeBoard簡介

　　EdgeBoard是百度基於FPGA晶片研發的嵌入式AI解決方案,高效能的加速引擎可提供3.6Tops的強大算力,完整的嵌入式參考設計使硬體整合輕鬆便捷。目前EdgeBoard提供了FPGA軟核和計算卡模組兩種形態供硬體整合,面向專案部署也提供了抓拍機和計算盒兩種基礎硬體產品。EdgeBoard深度相容百度大腦模型資源與工具平臺(EasyDL/AI Studio),極大降低了開發驗證、產品整合、科研教學、專案部署門檻,適用於安防監控、工業質檢、醫療診斷、農作物生長監控、無人駕駛、無人零售等場景

　　資料格式的邏輯表示與物理表示

　　深度學習中經常會使用NCHW、NHWC和CHWN資料格式來表示資料,其中N、H、W、C定義如下:

　　N:一個batch內圖片的數量,一次處理的圖片數量

　　H:垂直高度方向的畫素個數,圖片的高

　　W:水平寬度方向的畫素個數,圖片的寬

　　C:通道數。例如灰度影象為1, 彩色RGB影象為3

　　下圖表示N=2,C=16,H=5,W=4的資料排列,其中左圖是邏輯表示,右圖是物理表示。

　　以NCHW為例,其邏輯表示如左上圖,n=0時,三個座標分別標識了C、H、W的方向。第一個元素是000,第二個元素沿著w方向,即001,隨後是002, 003;然後沿H方向,即004, 005, 006, 007...如此反覆到019後;再沿C方向,020,021, 022 .....一直到319;再沿N方向,也就是n=1,然後重複W方向,H方向和C方向。

　　根據以上NCHW的劃分,實體地址表示定義如下(如右上圖):

　　[a:0] 表示W方向,在一行內從左到右

　　[a:1] 表示從H方向,一行一行的從上到下

　　[a:2] 表示在C方向,從一個通道到另外一個通道

　　[a:3] 表示從N方向,從n=0 到n=1

　　最終NCHW資料格式的物理分佈(在記憶體中的一維表示)表示為000 001 002 003 004 ... 018 019 020 ... 318 319 320 ... ... 637 638 639。可以理解成把一個通道的所有畫素一行一行地排列起來,然後排下一個通道,即n=0排列完後再排n=1。

　　同理NHWC表示是先沿C方向,再沿W方向,再沿H方向,最後沿N方向。所以在記憶體的存放順序是,第一個元素是000,第二個沿C方向,即020,040, 060 ...一直到300,之後切換到W方向,001 021 041 061...301..到了303後再切換到H方向,即004, 024 ... 304,最後到了319,再切換到N方向,320,340 ...一直到639。

　　[b:0] 表示C方向,第一個畫素從一個通道到另外一個通道

　　[b:1] 表示從W方向,最後一個通道第一個畫素回到第一個通道的第二個畫素

　　[b:2] 表示在H方向,最後一個通道第一行最後一個畫素回到第一個通道的第二行的第一個畫素

　　[b:3] 表示從N方向,從n=0 到n=1

　　NHWC其物理表示為000 020 ... 300 001 021 ... 283 303 004 ... 319 320 340 ... ... 339 359 ... 639。可以理解成把一個batch的一個畫素的所有通道先排列起來,然後排下一個畫素。n=0排列完成後,再排n=1。

　　同理CHWN其邏輯表示,先沿N方向,再沿W方向,再沿H方向,最後是沿C方向。

　　[c:0] 表示從N方向,從n=0的第一個畫素到n=1的第一個畫素

　　[c:1] 表示從N方向,從n=1的第一個畫素回到n=0的第二個畫素

　　[c:2] 表示在H方向,從n=1的第一行最後一個畫素回到n=0的第二行第一個畫素

　　[c:3] 表示從N方向,從n=1的第一個通道最後一個畫素回到n=0的第二個通道第一個畫素

　　CHWN其物理表示為 000 032 001 321 ... 003 323 004 324 ... ... 019 339 020 ...。可以理解成先把一個batch中N幅影象的第一個通道第一個畫素排列起來,然後排第二個畫素;再排第二個通道,第三個通道...

　　資料在記憶體中的偏移地址

　　深度學習中涉及大量的資料計算,計算需要從記憶體中取出資料,因此需要計算出資料的偏移地址以便進行取數。有了上面的邏輯表示和物理表示,可以推匯出4維邏輯表示(n,c,h,w)對映到一維記憶體中偏移地址的公式。

　　定義位置(n,c,h,w)表示第n個batch的第c通道的第h行的第w列,那麼該位置在不同資料格式下,在記憶體中的偏移地址計算公式如下: NCHW: offset_nchw(n, c, h, w) = n * CHW + c * HW + h * W + w NHWC: offset_nhwc(n, c, h, w) = n * HWC + h * WC + w * C + c CHWN: offset_chwn(n, c, h, w) = c * HWN + h * WN + w * N + n 其中N、C、H、W為常量,n、c、h、w為變數

　　在NCHW中,CHW=C*H*W,表示一個Batch,可以理解成一個BGR 3通道的圖片,表達的是一個立方體。HW=H*W,表示一個平面,可以理解成是BGR 3通道圖片的一個通道(灰度圖就是一個通道圖片)。W是一行,可以理解成一個通道上的一行。

　　以上圖為例,如果想計算出綠色圈,即341的位置(n=1,c=1, h=0, w=1)。我們需要先跳過n=0的資料(CHW),圖中箭頭1指向的藍色框區域;再跳過n=1的第一個通道(HW),圖中箭頭2指向藍色框區域;這時進入到了n=1的第二個通道,跳過h=0行(0*W);最後跳過w個數到達偏移位置。

　　EdgeBoard為何使用NHWC

　　下面來分析EdgeBoard選擇NHWC資料格式的原因。

　　上圖表示卷積的計算過程。根據卷積的運算特點,相同位置視窗所有通道數與卷積的引數相乘後累加,可以有下面兩種計算方式:

　　先通道後像素:先把一個畫素點的所有通道數與卷積的引數相乘後累加,再進行下一個畫素,直到卷積核視窗乘累加完成。比如第一次滑窗的計算公式 (w0,0,0)*(x0,0,0) + (w1,0,0)*(x1,0,0) + (w2,0,0)*(x2,0,0) + (w0,0,1)*(x0,0,1) + (w1,0,1)*(x1,0,1) + (w2,0,1)*(x2,0,1) + (w0,0,2)*(x0,0,2) + (w1,0,1)*(x1,0,2) + (w2,0,2)*(x2,0,2) + (w0,1,0)*(x0,1,0) + (w1,1,0)*(x1,1,0) + (w2,1,0)*(x2,1,0) + (w0,1,1)*(x0,1,1) + (w1,1,1)*(x1,1,1) + (w2,1,1)*(x2,1,1) + (w0,1,2)*(x0,1,2) + (w1,1,1)*(x1,1,2) + (w2,1,2)*(x2,1,2) + (w0,2,0)*(x0,2,0) + (w1,2,0)*(x1,2,0) + (w2,2,0)*(x2,2,0) + (w0,2,1)*(x0,2,1) + (w1,2,1)*(x1,2,1) + (w2,2,1)*(x2,2,1) + (w0,2,2)*(x0,2,2) + (w1,2,1)*(x1,2,2) + (w2,2,2)*(x2,2,2) = 0*-1 + 0*-1 + 0*0 + 0*1 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*1 + 1*0 + 2*1 + 1*0 + 0*0 +1*0 + 0*0 + 0*0 + 0*1 + 2*1 + 0*-1 + 1*-1 + 2*1 + 0*0 + 0*-1 + = 5

　　先畫素後通道:先把一個通道滑動視窗與卷積引數相乘後累加,再進行下一個通道,直到所有通道乘累加完成。比如第一次滑窗計算公式

　　(w0,0,0)*(x0,0,0) + (w0,0,1)*(x0,0,1) + (w0,0,2)*(x0,0,2) + (w0,1,0)*(x0,1,0) + (w0,1,1)*(x0,1,1) + (w0,0,2)*(x0,1,2) + (w0,2,0)*(x0,2,0) + (w0,0,1)*(x0,2,1) + (w0,0,2)*(x0,2,2) + (w1,0,0)*(x1,0,0) + (w1,0,1)*(x1,0,1) + (w1,0,2)*(x1,0,2) + (w1,1,0)*(x1,1,0) + (w1,1,1)*(x1,1,1) + (w1,0,2)*(x1,1,2) + (w1,2,0)*(x1,2,0) + (w1,0,1)*(x1,2,1) + (w1,0,2)*(x1,2,2) + (w2,0,0)*(x2,0,0) + (w2,0,1)*(x2,0,1) + (w2,0,2)*(x2,0,2) + (w2,1,0)*(x2,1,0) + (w2,1,1)*(x2,1,1) + (w2,0,2)*(x2,1,2) + (w2,2,0)*(x2,2,0) + (w2,0,1)*(x2,2,1) + (w2,0,2)*(x2,2,2) = 0*-1 + 0*1 + 0*0 + 0*0 +0*1 + 1*0 + 0*0 + 2*1 + 2*1 + 0*-1 + 0*-1 + 0*0 + 0*0 + 1*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 2*1 + 1*0 + 0*1 + 1*-1 + 0*-1 = 5

　　可以看出兩種方式計算的結果是一樣。

　　而對於NHWC格式,即先通道後像素,是把一個畫素的所有通道的資料放在一起。這樣對應上圖第一個畫素的3個通道值,第二個畫素的3個通道值,第三個畫素的3個通道值,它們在記憶體中的地址都是連續的,也就是說一次就可以把kernel第一行需要計算的數取出,3x3的kernel需要3次取數。

　　而對於NCHW格式,即先畫素後通道,是把一個通道的所有畫素按順序排列,這樣對於一個3*3的卷積核,需要每取3個數就需要跳躍n個數後,再取3個數。一個通道需要取3次,3個通道需要取9次。

　　在實際網路中,通常通道數會遠大於卷積kernel數(不會像上圖只有3個通道,通常是幾十、幾百個通道)。這樣對於NHWC格式來說說,取數的次數會比NCHW少很多。對EdgeBoard來說,為了增加其所支援網路的廣泛性,減少對大輸入尺寸和高儲存量權重網路的限制,採用NHWC的格式可以實現分批次地把Feature Map和Weight資料讀取到FPGA的片上快取,例如對於3x3的Kernel,我們可以只讀取三行(3WC)Feature Map的資料到FPGA內進行計算,即可得到一行輸出資料,並傳輸到片外大容量快取DDR,而不需依賴下一個3WC的Feature Map輸入資料就可完成每一批次的輸入輸出資料傳輸。

　　再例如,我們也可將Weight資料根據FPGA片上快取的不同大小分割成N份,一份一份傳送到FPGA分別做卷積運算後,再傳輸回DDR做相應拼接,這等同於做一次大的卷積運算,好處在於可以根據不同容量的FPGA器件做不同匹配,大大提高了程式碼的硬體適配性。此外,由於C維度之間資料相關性較弱,採用NHWC格式更能發揮FPGA高並行度的計算特點,充分利用FPGA的算力。

　　下表為EdgeBoard使用NHWC資料格式的網路效能:

　　參考連結:

　　[1] Intel MKL github

　　https://intel.github.io/mkl-dnn/understanding_memory_formats.html

　　[2] 零基礎入門深度學習

　　https://www.zybuluo.com/hanbingtao/note/485480

　　福利

　　據可靠訊息:EdgeBoard正在打折中,歷史最低價,直降1000元,有興趣可以看看:https://aim.baidu.com/product/5b8d8817-9141-4cfc-ae58-640e2815dfd4

EdgeBoard簡介

EdgeBoard是百度基於FPGA晶片研發的嵌入式AI解決方案，高效能的加速引擎可提供3.6Tops的強大算力，完整的嵌入式參考設計使硬體整合輕鬆便捷。目前EdgeBoard提供了FPGA軟核和計算卡模組兩種形態供硬體整合，面向專案部署也提供了抓拍機和計算盒兩種基礎硬體產品。  EdgeBoard深度相容百度大腦模型資源與工具平臺（EasyDL/AI  Studio），極大降低了開發驗證、產品整合、科研教學、專案部署門檻，適用於安防監控、工業質檢、醫療診斷、農作物生長監控、無人駕駛、無人零售等場景。

資料格式的邏輯表示與物理表示

深度學習中經常會使用NCHW、NHWC和CHWN資料格式來表示資料，其中N、H、W、C定義如下：

l N：一個batch內圖片的數量，一次處理的圖片數量。

l H：垂直高度方向的畫素個數，圖片的高。

l W：水平寬度方向的畫素個數，圖片的寬。

l C：通道數。例如灰度影象為1， 彩色RGB影象為3。

下圖表示N=2,C=16,H=5,W=4的資料排列，其中左圖是邏輯表示，右圖是物理表示。

以NCHW為例，其邏輯表示如左上圖，n=0時，三個座標分別標識了C、H、W的方向。第一個元素是000，第二個元素沿著w方向，即001，隨後是002, 003；然後沿H方向，即004， 005， 006， 007...如此反覆到019後；再沿C方向，020，021， 022 .....一直到319；再沿N方向，也就是n=1，然後重複W方向，H方向和C方向。

根據以上NCHW的劃分，實體地址表示定義如下（如右上圖）：

l [a:0] 表示W方向，在一行內從左到右。

l [a:1] 表示從H方向，一行一行的從上到下。

l [a:2] 表示在C方向，從一個通道到另外一個通道。

l [a:3] 表示從N方向，從n=0 到n=1。

最終NCHW資料格式的物理分佈(在記憶體中的一維表示)表示為000 001 002 003 004 ... 018 019 020 ... 318 319 320 ... ... 637 638 639。可以理解成把一個通道的所有畫素一行一行地排列起來，然後排下一個通道，即n=0排列完後再排n=1。

同理NHWC表示是先沿C方向，再沿W方向，再沿H方向，最後沿N方向。所以在記憶體的存放順序是，第一個元素是000，第二個沿C方向，即020，040, 060 ...一直到300，之後切換到W方向，001 021 041 061...301..到了303後再切換到H方向，即004， 024 ... 304，最後到了319，再切換到N方向，320，340 ...一直到639。

l [b:0] 表示C方向，第一個畫素從一個通道到另外一個通道。

l [b:1] 表示從W方向，最後一個通道第一個畫素回到第一個通道的第二個畫素。

l [b:2] 表示在H方向，最後一個通道第一行最後一個畫素回到第一個通道的第二行的第一個畫素。

l [b:3] 表示從N方向，從n=0 到n=1。

NHWC其物理表示為000 020 ... 300 001 021 ... 283 303 004 ... 319 320 340 ... ... 339 359 ... 639。可以理解成把一個batch的一個畫素的所有通道先排列起來，然後排下一個畫素。n=0排列完成後，再排n=1。

同理CHWN其邏輯表示，先沿N方向，再沿W方向，再沿H方向，最後是沿C方向。

l [c:0] 表示從N方向，從n=0的第一個畫素到n=1的第一個畫素。

l [c:1] 表示從N方向，從n=1的第一個畫素回到n=0的第二個畫素。

l [c:2] 表示在H方向，從n=1的第一行最後一個畫素回到n=0的第二行第一個畫素。

l [c:3] 表示從N方向，從n=1的第一個通道最後一個畫素回到n=0的第二個通道第一個畫素。

CHWN其物理表示為 000 032 001 321 ... 003 323 004 324 ... ... 019 339 020 ...。可以理解成先把一個batch中N幅影象的第一個通道第一個畫素排列起來，然後排第二個畫素；再排第二個通道，第三個通道...

資料在記憶體中的偏移地址

深度學習中涉及大量的資料計算，計算需要從記憶體中取出資料，因此需要計算出資料的偏移地址以便進行取數。有了上面的邏輯表示和物理表示，可以推匯出4維邏輯表示（n，c，h，w）對映到一維記憶體中偏移地址的公式。

定義位置（n，c，h，w）表示第n個batch的第c通道的第h行的第w列，那麼該位置在不同資料格式下，在記憶體中的偏移地址計算公式如下: NCHW: offset_nchw(n, c, h, w) = n * CHW + c * HW + h * W + w NHWC: offset_nhwc(n, c, h, w) = n * HWC + h * WC + w * C + c CHWN: offset_chwn(n, c, h, w) = c * HWN + h * WN + w * N + n 其中N、C、H、W為常量，n、c、h、w為變數。

在NCHW中，CHW=C*H*W，表示一個Batch，可以理解成一個BGR 3通道的圖片，表達的是一個立方體。HW=H*W，表示一個平面，可以理解成是BGR 3通道圖片的一個通道（灰度圖就是一個通道圖片）。W是一行，可以理解成一個通道上的一行。

以上圖為例，如果想計算出綠色圈，即341的位置（n=1，c=1， h=0， w=1）。我們需要先跳過n=0的資料（CHW），圖中箭頭1指向的藍色框區域；再跳過n=1的第一個通道（HW），圖中箭頭2指向藍色框區域；這時進入到了n=1的第二個通道，跳過h=0行（0*W）；最後跳過w個數到達偏移位置。

EdgeBoard為何使用NHWC

下面來分析EdgeBoard選擇NHWC資料格式的原因。

上圖表示卷積的計算過程。根據卷積的運算特點，相同位置視窗所有通道數與卷積的引數相乘後累加，可以有下面兩種計算方式：

·   先通道後像素：先把一個畫素點的所有通道數與卷積的引數相乘後累加，再進行下一個畫素，直到卷積核視窗乘累加完成。比如第一次滑窗的計算公式： (w0,0,0)*(x0,0,0) + (w1,0,0)*(x1,0,0) + (w2,0,0)*(x2,0,0) + (w0,0,1)*(x0,0,1) + (w1,0,1)*(x1,0,1) + (w2,0,1)*(x2,0,1) + (w0,0,2)*(x0,0,2) + (w1,0,1)*(x1,0,2) + (w2,0,2)*(x2,0,2) + (w0,1,0)*(x0,1,0) + (w1,1,0)*(x1,1,0) + (w2,1,0)*(x2,1,0) + (w0,1,1)*(x0,1,1) + (w1,1,1)*(x1,1,1) + (w2,1,1)*(x2,1,1) + (w0,1,2)*(x0,1,2) + (w1,1,1)*(x1,1,2) + (w2,1,2)*(x2,1,2) + (w0,2,0)*(x0,2,0) + (w1,2,0)*(x1,2,0) + (w2,2,0)*(x2,2,0) + (w0,2,1)*(x0,2,1) + (w1,2,1)*(x1,2,1) + (w2,2,1)*(x2,2,1) + (w0,2,2)*(x0,2,2) + (w1,2,1)*(x1,2,2) + (w2,2,2)*(x2,2,2) = 0*-1 + 0*-1 + 0*0 + 0*1 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*1 + 1*0 + 2*1 + 1*0 + 0*0 +1*0 + 0*0 + 0*0 + 0*1 + 2*1 + 0*-1 + 1*-1 + 2*1 + 0*0 + 0*-1 + = 5

·   先畫素後通道：先把一個通道滑動視窗與卷積引數相乘後累加，再進行下一個通道，直到所有通道乘累加完成。比如第一次滑窗計算公式：

(w0,0,0)*(x0,0,0) + (w0,0,1)*(x0,0,1) + (w0,0,2)*(x0,0,2) + (w0,1,0)*(x0,1,0) + (w0,1,1)*(x0,1,1) + (w0,0,2)*(x0,1,2) + (w0,2,0)*(x0,2,0) + (w0,0,1)*(x0,2,1) + (w0,0,2)*(x0,2,2) + (w1,0,0)*(x1,0,0) + (w1,0,1)*(x1,0,1) + (w1,0,2)*(x1,0,2) + (w1,1,0)*(x1,1,0) + (w1,1,1)*(x1,1,1) + (w1,0,2)*(x1,1,2) + (w1,2,0)*(x1,2,0) + (w1,0,1)*(x1,2,1) + (w1,0,2)*(x1,2,2) + (w2,0,0)*(x2,0,0) + (w2,0,1)*(x2,0,1) + (w2,0,2)*(x2,0,2) + (w2,1,0)*(x2,1,0) + (w2,1,1)*(x2,1,1) + (w2,0,2)*(x2,1,2) + (w2,2,0)*(x2,2,0) + (w2,0,1)*(x2,2,1) + (w2,0,2)*(x2,2,2) = 0*-1 + 0*1 + 0*0 + 0*0 +0*1 + 1*0 + 0*0 + 2*1 + 2*1 + 0*-1 + 0*-1 + 0*0 + 0*0 + 1*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 2*1 + 1*0 + 0*1 + 1*-1 + 0*-1 = 5

可以看出兩種方式計算的結果是一樣。

而對於NHWC格式，即先通道後像素，是把一個畫素的所有通道的資料放在一起。這樣對應上圖第一個畫素的3個通道值，第二個畫素的3個通道值，第三個畫素的3個通道值，它們在記憶體中的地址都是連續的，也就是說一次就可以把kernel第一行需要計算的數取出，3x3的kernel需要3次取數。

而對於NCHW格式，即先畫素後通道，是把一個通道的所有畫素按順序排列，這樣對於一個3*3的卷積核，需要每取3個數就需要跳躍n個數後，再取3個數。一個通道需要取3次，3個通道需要取9次。

在實際網路中，通常通道數會遠大於卷積kernel數（不會像上圖只有3個通道，通常是幾十、幾百個通道）。這樣對於NHWC格式來說說，取數的次數會比NCHW少很多。對EdgeBoard來說，為了增加其所支援網路的廣泛性，減少對大輸入尺寸和高儲存量權重網路的限制，採用NHWC的格式可以實現分批次地把Feature Map和Weight資料讀取到FPGA的片上快取，例如對於3x3的Kernel，我們可以只讀取三行(3WC)Feature Map的資料到FPGA內進行計算，即可得到一行輸出資料，並傳輸到片外大容量快取DDR，而不需依賴下一個3WC的Feature Map輸入資料就可完成每一批次的輸入輸出資料傳輸。

再例如，我們也可將Weight資料根據FPGA片上快取的不同大小分割成N份，一份一份傳送到FPGA分別做卷積運算後，再傳輸回DDR做相應拼接，這等同於做一次大的卷積運算，好處在於可以根據不同容量的FPGA器件做不同匹配，大大提高了程式碼的硬體適配性。此外，由於C維度之間資料相關性較弱，採用NHWC格式更能發揮FPGA高並行度的計算特點，充分利用FPGA的算力。

下表為EdgeBoard使用NHWC資料格式的網路效能：

網路	輸入尺寸	單幀耗時
resnet50	224 x 224	19ms
resnet101	224 x 224	33ms
mobilenet-v1	224 x 224	5ms
vgg-ssd	300 x 300	89ms
inception-v2	299 x 299	19ms
inception-v3	299 x 299	31ms
inception-v4	299 x 299	61ms
mobilenet-ssd	224 x 224	21ms
mobilenet-ssd-640	640 x 640	59ms
yolo-v3	416 x 416	98ms

福利

 

據可靠訊息：EdgeBoard正在打折中，歷史最低價，直降1000元，有興趣可以看看：https://aim.baidu.com/product/5b8d8817-9141-4cfc-ae58-640e2815dfd4

參考連結：

[1] Intel MKL github

相關推薦