OPEN AI LAB丨賦能AI開源生態，Tengine成AI開發利器
現階段，邊緣人工智慧的主要挑戰有成本、功耗、AI計算能力，以及軟體生態構建等問題。晶片公司被迫花大量精力做上層開發環境和平臺，應用/演算法公司被迫做大量底層適配優化成為全棧AI公司。如何創造性解決這些問題，加速產業協作？
嵌入式前端深度學習框架Tengine應運而生
Tengine是由 OPEN AI LAB 開發的一款輕量級模組化高效能神經網路推理引擎，專門針對Arm嵌入式裝置優化，並且無需依賴第三方庫，可跨平臺使用支援Android，Liunx，並支援用GPU、DLA作為硬體加速計算資源異構加速。
Tengine支援各類常見卷積神經網路，包括SqueezeNet，MobileNet，AlexNet，ResNet等，支援層融合、8位量化等優化策略。並且通過呼叫針對不同CPU微構架優化的HCL庫，將Arm CPU的效能充分挖掘出來。
作為一款開放計算平臺，Tengine的擴充套件能力非常強，除支援自帶的HCL庫以外，還支援業界常見的OpenBLAS, Arm Compute Library庫。客戶還可以很容易拓展自己的運算元庫，給使用者自由的選擇。
除此之外，Tengine還能適配晶片上GPU等各類硬體資源甚至是DLA硬體加速器。只需要簡單的在Tengine上註冊裝置並掛載上驅動，就能充分利用晶片上的硬體資源提升計算能力。
目前，基於Rockchip RK3399的Rock960率先支援Tengine，RK3399 Cortex-A72 1.8GHz Tengine vs Caffe效能資料上，Tengine單核即超過Caffe雙核的效能，硬體利用率大幅度提升。
相比於Caffe，NCNN等其他AI框架，Tengine是為嵌入式裝置終端推理量身定製的框架，計算速度快，執行記憶體小，模型相容性好。Tengine執行ResNet50所需的實體記憶體為NCNN的三分之一，Caffe的二分之一。執行MobileNetv1的效能是Caffe的4.9倍，NCNN的2.8倍。
Tengine作為AI 應用框架，不僅對上層應用提供推理API介面，支援主流模型與格式，還在下層定義硬體介面，適配嵌入式平臺各類計算模組，此外支援同時執行多個AI應用演算法以及呼叫多個計算模組計算。
因此，Tengine的面世對AI開源生態具有里程碑的意義，可以預見會廣泛應用於日益火爆的Face ID人臉門禁、語音識別、機器人多感測融合平臺、邊緣計算AI伺服器等領域，將極大促進Arm生態下AI全領域的技術開發與產品應用的加速發展。
關於OPEN AI LAB
OPEN AI LAB（開放智慧實驗室）於2016年12月成立，由Arm中國聯合產業夥伴發起，致力於推動晶片、硬體、演算法軟體整個產業鏈的深度合作，加速人工智慧產業化應用部署和應用場景邊界拓展，為最終實現萬物智慧貢獻力量。
業務合作：[email protected]