1. 程式人生 > >Arm中國“周易”人工智慧平臺可以降低算力成本!

Arm中國“周易”人工智慧平臺可以降低算力成本!

640?wx_fmt=jpeg

隨著新技術的成熟,新型的先進應用將來自5G、人工智慧(AI)和物聯網(IoT)的融合,這種融合將創造出一個智慧互聯的全新未來,對所有個人、行業、社會和經濟產生積極影響。Arm預計到2035年將有1萬億的物聯網裝置,在這些裝置上實現本地人工智慧,是人工智慧應用的必然趨勢。而要做到這一點,必須進一步降低人工智慧的算力成本。


為此,Arm中國自主研發了“周易”平臺這樣一個適配性強、開放通用的人工智慧平臺,其主要包括軟體框架Tengine和全新的硬體處理器——人工智慧處理單元(AIPU),其中Tengine軟體框架針對邊緣裝置的推理做了深度優化和實現。周易平臺也支援Arm CPU、Mali GPU以及第三方硬體,專注於邊緣推理,能夠提高人工智慧應用開發的生產效率。


640

圖1 :人工智慧平臺“周易”概述

全新處理器單元(AIPU)提供硬體核“芯”

人工智慧通常用於不同的場景,而深度學習模型會使用到各種型別的操作(layer)。目前常見的加速器解決方案具有較高效能,但僅支援有限的操作,這使得只能執行有限的人工智慧應用,限制了邊緣和AIoT產品的多樣性,AIPU憑藉良好的可程式設計性可以支援現在的全部深度學習操作。


周易人工智慧處理單元(AIPU)是一個專門用於深度學習處理的全新硬體IP。這種新的架構設計了人工智慧特定域張量指令集(Tensor Instructions)、針對AI特定操作的指令集擴充套件以及定製的硬體加速單元、以及用於NN計算所必需的通用標量指令集。憑藉最先進的設計,AIPU可以實現人工智慧應用的完全可程式設計性和很好的能效。除了AIPU,還有完整的AI軟體開發工具包,支援AI演算法可以在AIPU上輕鬆部署。


640?

圖2 :周易AIPU框圖


AIPU採用了可配置的設計,張量執行單元(TEC)的數量和AI硬體加速單元能都是靈活可配置的,這使得周易平臺能夠涵蓋從微控制器(幾十GOPS)到高階邊緣計算(幾個TOPS)的不同算力需求。


對於新開發的晶片,周易平臺可以讓晶片合作伙伴使用周易AIPU IP設計新的SoC,並提供了驗證測試向量、參考用例和後端實現參考流程等全面支援,以加速新的SoC設計;同時,周易AIPU 模擬軟體用於軟體應用程式前期開發。這將大大加快新人工智慧產品的上市時間。

開放式人工智慧軟體框架——Tengine

周易平臺採用Tengine作為開放式人工智慧軟體框架,它的目標是建立一個統一的推理框架,通過定義標準的Tengine API,人工智慧應用程式可以使用標準API在不同的硬體上部署,大大節省了移植或者在特定的硬體上進行優化的工作量。Tengine支援主流的人工智慧框架,如TensorFlow / Caffe / ONNX / MXNet等模型。


Tengine定義了標準硬體抽象級別(HAL),以支援物聯網裝置中可能存在的不同型別的計算模組。它已經支援像Cortex-A7 / A17 / A53 / A55 / A72 / A76這些的流行Arm CPU,也支援像Mali-T860、G51和G72這些廣受歡迎的Arm Mali GPU。由於周易平臺是一個開放平臺,它也可以支援第三方CPU、DSP或加速器,通過選用裝置驅動程式來支援這些裝置。在庫方面,可以選用Arm計算庫(Arm Compute Library,ACL)、異構計算庫(HCL)、開放原始碼庫(例如OpenBLAS)或是使用者自己實現的庫來驅動。

三大創新特性,強勢賦能AIoT市場

實際上,周易平臺作為人工智慧應用的整體解決方案,十分簡單易用,並且實現了三大創新。相容性上,它不僅提供了一個完整的易於使用的工具鏈,支援從深度學習模型到周易可執行檔案的一鍵構建,還支援常見的人工智慧框架,如Google TensorFlow和其他框架。同時,周易平臺支援Linux和Android作業系統,甚至裸機軟體(bare-metal software),從非常小的嵌入式微控制器到高階邊緣閘道器的各種裝置都能適用。


周易平臺還將更強的安全性引入市場,安全擴充套件硬體和相關的信任軟體可以保護人工智慧資產,例如演算法、程式碼和資料,幫助合作伙伴保護執行在已部署產品上的資產,並保護人工智慧演算法安全的線上更新。周易平臺的安全擴充套件為人工智慧應用中需要保護的資產建立了一個可信執行環境(TEE),通過靜態加密儲存、執行時 TrustZone技術保護,以及SoC中用於安全隔離一系列小的硬體元件, 為人工智慧晶片提供360度的安全保護。


適用性上,周易平臺也支援在現存裝置的上進行部署。通過統一的軟體介面,許多人工智慧應用可以直接部署在SoC上,合作伙伴只需重新編譯基於目標裝置CPU的周易軟體,生成可在現有SoC架構上執行的目的碼,然後連結CPU庫和GPU庫。通過部署周易平臺,人工智慧效能可以提高2.5 - 5倍。 

640
綜上所述,Arm中國人工智慧平臺周易可以幫助產業合作伙伴大幅降低人工智慧算力、晶片和應用的成本、讓其設計和製造具有強大人工智慧能力的晶片,並讓人工智慧應用程式開發人員大大提高工作效率,在更多的物聯網裝置上實現人工智慧,極大地賦能整個AIoT市場。

640?

640?wx_fmt=jpeg

1.10年,嵌入式系統聯誼會感恩有你!

2.反對薪酬保密,一程式設計師公開了矽谷祕密

3.中興41歲老員工:這可能是我第5次失業,和你分享3點忠告

4.STM32資料手冊中都有哪些重要內容不可忽視?

5.工程師們,你覺得模擬技術輝煌時代過去了嗎?

6.老司機們這樣“攻克”STM32!

640?wx_fmt=gif

免責宣告:本文系網路轉載,版權歸原作者所有。如涉及作品版權問題,請與我們聯絡,我們將根據您提供的版權證明材料確認版權並支付稿酬或者刪除內容。