1. 程式人生 > >Tengine 一個注重效能和相容性的AI框架丨OPEN AI LAB

Tengine 一個注重效能和相容性的AI框架丨OPEN AI LAB

前段時間,Tensorflow官方提供的本地編譯的方式在Arm嵌入式裝置執行Tensorflow Lite,我在11月中旬,使用本地編譯的方式編譯二進位制的Label_image, 對RK3288 以及樹莓派上做了效能的測試。

A17與A53 MobilenNet V1(fp) 效能對比
A17與A53 MobilenNet V1(fp) 效能對比

 

從效能測試的結果來看,物美價平的樹莓派其實效能並不弱。但是今天我想介紹一個我新發現並讓我眼前一亮的框架Tengine.

Tengine 顯著的優點是效能和相容性,使用Tengine框架後執行效能可以得到大幅度的提升。

下圖為MobileNet V1_1.0_224 浮點型模型單張圖片分類在單核A53的效能對比。我們可以看到Tengine 有顯著的優勢。

MobileNet V1_1.0_224 浮點型模型單張圖片分類在單核A53的效能對比
MobileNet V1_1.0_224 浮點型模型單張圖片分類在單核A53的效能對比

 

Tengine 框架有著非常好的模型相容性,支援直接載入caffe/mxnet/tensorflow模型檔案,而不需要事先轉換,而且使用者僅需編譯就可以利用Tengine的加速Caffe和Tensorflow效能。

Tengine 不僅可以讓分類網路的效能大大提升,連大家眾所周知的MobileNet-SSD 網路也能提升它的效能。很多人都覺得樹莓派的效能不足以hold住檢測網路,但是如果用Tengine框架就可以做到。

即使是開源版是每一幀的檢測耗時僅為 286.136ms

,足以看出Tengine的效能非常強大。

開源版上每一幀的檢測耗時僅為 286.136ms
開源版上每一幀的檢測耗時僅為 286.136ms

 

GPU用半浮點精度float16的檢測結果準確無誤
GPU用半浮點精度float16的檢測結果準確無誤

 

有興趣的朋友可以看一下Tengine GitHub的主頁,最近還推出了跑MobileNet分類網路的Android App, 手機端就可以使用AI 程式。

https://github.com/OAID/Tengine/?csdn010701

https://github.com/OAID/Tengine-app/?csdn010701


關於OPEN AI LAB

OPEN AI LAB(開放智慧實驗室)於2016年12月成立,由Arm中國聯合產業夥伴發起,致力於推動晶片、硬體、演算法軟體整個產業鏈的深度合作,加速人工智慧產業化應用部署和應用場景邊界拓展,為最終實現萬物智慧貢獻力量。

業務合作:[email protected]