AI 晶片“涼了又熱”,RISC-V 晶片能否成為 AIoT 市場主角
AI 的熱潮已經過去?許多關注 AI 的人或許會給出的判斷。這種判斷也有一些依據,AI 發展三大要素之一的 AI 晶片,在 2016 年左右出現大量的初創公司,之後火熱了兩年左右時間後,又逐漸涼了下來。
但 2020 年下半年開始,AI 晶片初創公司的融資訊息又多了起來,在本月的 WAIC 2021 期間,多家雲端 AI 晶片和邊緣 AI 晶片初創公司都發布了新產品,AI 晶片似乎又熱了起來。
AI 晶片為什麼“涼”了幾年又“熱”了起來?AI 普及的關鍵到底是什麼?RISC-V 晶片會成為 AIoT 市場的主角嗎?
體驗不好的 AI 產品傷害了消費者
2017 年左右掀起的新一輪 AI 熱潮,有兩個關鍵性事件。一個是 2012 年 AlexNet 在 ImageNet 大規模視覺識別挑戰賽中用卷積神經網路(CNN)贏得了影象識別競賽,再次掀起了學界研究 AI 的熱潮。到了 2017 年,AlphaGo 戰勝人類頂級棋手柯潔,並橫掃整個圍棋界。AI 的熱潮從學界蔓延至產業界,並引發全民關注。
“我覺得 AI 能再一次熱起來是因為神經網路在技術有了突破後,能夠解決一些問題,而這恰好能滿足消費者對智慧美好生活的嚮往。”嘉楠科技創始人、董事長兼執行長張楠賡表示。
很快地,AI 音箱、AI 機器人、AI 家電、AI 故事機等眾多 AI 產品迅速推向市場,其中出貨量最大的 AI 音箱迅速普及,但很快被消費者拋棄。
“通過縮減材料降低成本,推出體驗不好的產品對市場傷害非常大,因為沒有好的體驗,整個市場的規模很難變大。降低成本應該靠更好的技術。”張楠賡說,“AI 產品還是沒有達到消費者的預期,消費者需要的是一個完整的產品,這是我認為 AI 又涼下來的原因。”
英特爾研究院副總裁、英特爾中國研究院院長宋繼強表示:“現在很多 AI 系統,只有一個原型,但到商業化的時候,原型是不行的。AI 創新要真正的規模化發展起來,一定要很認真嚴肅地做垂直整合。”
也就是說,AI 產品的實際體驗與消費者期待的產品之間仍有鴻溝。從 AI 智慧硬體公司的角度,在 AI 晶片和 AI 演算法的支援下,他們推出了比以往更加智慧的產品,產品效能有了顯著的提升。但從消費者的角度,AI 產品依舊不夠智慧,甚至有些傻,很難持續使用或購買新的 AI 產品。
“還有一個問題是價格,對於智慧硬體和白色家電,消費者的要求是效能是世界級,但價格預期是‘地獄級’,這是矛盾所在。”張楠賡說。“不過,只要有明確的需求和目標,實現世界級的效能,同時兼顧可接受的價格並非不能達成的目標,嘉楠希望在未來 1-3 年內達成這個目標。”
還要看到,邊緣推理是 AI 應用大規模落地的關鍵。這是因為,雲邊協同已經成為主流的計算正規化。在雲邊協同的架構中,邊緣 AI 在資料脫敏、資料感知和實時決策上有效彌補了時延和資料隱私上的短板,也能降低高昂的 IT 基礎設施成本。
此時,更高效能的 AI 晶片非常關鍵。
需求釋放,邊緣 AI 晶片市場規模絕對值快速增加
嘉楠在 AI 邊緣晶片市場佔有先發優勢,2018 年推出了首款 AI 推理晶片勘智 K210,這款 AI SoC 投片的時候還沒有 MobileNetV2 和 YOLOv3 演算法,所以只有 1TOPS 的 AI 算力。“由於勘智 K210 研發時間較早,在算力規劃上沒有考慮到後來才出現的演算法模型,導致這款晶片在應用場景的拓展上受到限制。”張楠賡如此評價這款晶片。
在整個業界探索 AI 晶片和 AI 應用的背景下,嘉楠的首款 AI 晶片獲得了多個頭部教育機器人客戶的訂單。在 2020 年全球疫情和缺芯的環境下也實現了可觀的營收。
“今年很多應用市場需求快速增加,僅上半年我們就實現了 1300 多萬的 AI 晶片營收,如果下半年產能問題不能解決,我預計營收和上半年相當。”張楠賡說,“我看到的是今年市場需求特別旺盛,增長比較快。”
當然,AI 邊緣晶片市場仍舊處於絕對值增長很快,但總體規模依舊不大的狀態。在快速增長的市場裡,除了 AI 教育以及增加 AI 功能網路攝像機(IPC),用邊緣 AI 晶片做人群聚集檢測、超聲波定位、機器狗、跟拍雲臺等創新的產品越來越多。
“勘智主打的還是 AI 效能,基於勘智 K210 的能力,有些創新應用是我們沒有想到的。更加智慧的產品也需要更高效能的 AI 晶片,其實像家庭場景裡的掃地機器人,面對的環境也非常複雜,需要比較高的算力,還要控制成本。”張楠賡表示。
為此,嘉楠推出了勘智 K510 邊緣推理晶片,CPU 依舊採用 RISC-V(雙核 64 位),全新的 KPU 將 AI 效能提升至 3TOPS,支援 TensorFlow、PyTorch 和 ONNX 模型匯入,配合 KPU 為 AI 加速還增加了 DSP。
另外,勘智 K510 支援三路感測器輸入 1080P 視訊,擁有眾多高速和低速介面,其中高速介面 DDR PHY 和 MIPI RX/TX DPHY 均是嘉楠完全自主智慧財產權的 IP。
從推出的時間看,勘智 K510 比嘉楠的產品路線圖晚了半年多時間。據我們瞭解,其中的原因包括這是嘉楠第一個比較大規模的 AI 晶片,幾乎重新設計了 AI 加速單元 KPU,高速介面也是完全自研,再加上產能緊缺等多重因素,導致勘智 K510 推出的時間比預期晚一些。
“產品更早推出肯定會更好一些,但稍微晚一點也有好處。我們推出第一款 AI 晶片的時候,絕大部分中小客戶只能用原廠的晶片做一些嵌入式的開發。今年有能力開發 AI 晶片的客戶多了很多,許多客戶還有自己的 AI 演算法。市場在成熟,應用場景也在不斷增加,這對我們產品的推廣是好事。”張楠賡如此解釋。
與傳統的功能晶片不同,AI 晶片的開發者並不知道自己明確的需求,這對要預測未來三到五年市場需求的 AI 晶片公司來說,定義產品難度更大。但比較明確的是,隨著 AI 應用複雜程度的增加,對 AI 的算力需求也隨之增加,提升 AI 效能成為關鍵。
“勘智 K510 的 KPU 相比上一代基本是重新設計。原來的 KPU 比較簡單,如果用第一代架構進行等比放大提升效能會有很多問題。新設計的第二代架構更加通用,可伸縮性更好,很容易實現零點幾 TOPS 到幾 TOPS 的算力,同時相容性也更好。”張楠賡表示。
提升 AI 效能的同時,勘智 K510 的視覺效能也有了顯著提高,集成了最新一代影象處理單元和 3D ISP 模組,支援深度攝像頭 TOF 感測器,可以在無需軟體參與的情況下自動解析和提取深度影象,加速 3D 影象處理。
張楠賡指出,勘智 K510 是一款中高階算力晶片,視覺硬體配置也是這款晶片的重頭戲,同時支援最多 3 個攝像頭的輸入,其中一路支援 3D 功能,也是迎合市場需求,能夠滿足比如活體檢測等需求。勘智 K510 也能夠應用於高清航拍器、視訊會議、機器人、STEAM 教育、工業相機和輔助駕駛等場景。
我們注意到,勘智 K510 在降低功耗方面從多角度入手,比如通過 NoC 匯流排架構解決龐大時鐘樹帶來的晶片大功耗和大面積問題;KPU 根據不同層級的頻寬、計算和儲存需求的調整,提高資料的複用率降低晶片功耗;還通過支援語音 VAD 功能,滿足低功耗設計需求等。
不過,能夠將嘉楠的 AI 晶片推向更廣闊市場的關鍵是 RISC-V。
衝向萬億美元的 AIoT 市場
“易用性非常重要,開發者如果使用 CPU 或者 DSP 就能實現功能,能夠降低開發成本和加速產品上市時間。”張楠賡說,“這也是我們在雙核 64 位 RISC-V CPU 基礎上增加 DSP 的重要原因。”
更強的 CPU 效能對於一款 SoC 的重要性也越來越高。“有一個很有意思的現象,5 年前,業界很多人認為 SoC 中的 CPU 的作用會被弱化,大部分的任務都會用硬體加速器處理,包括 AI 應用。但這兩年,無論是手機還是 PC,CPU 的競爭越來越激烈,絕大部分的任務還是在 CPU 上完成,CPU 又變得很重要,所以對 CPU 的效能需求也大幅度增加。”張楠賡表示。
“我認為,未來幾年桌面級和移動端先進的技術和架構會迅速下放到原來的 MCU 中,這個變化可能要到將來 3-5 年才能看到。”他作出預測。
CPU 在 SoC 中的重要性又變得重要,意味著 CPU 的效能和易用性成為競爭的關鍵。在 AIoT 市場,雖然統治移動市場的 Arm 佔據優勢地位,但最近兩年 RISC-V 指令集晶片在這一市場進展迅猛,在對軟體支援要求不高的應用中,RISC-V 已經被大量應用,但需要更高效能和更多軟體支援的應用就面臨挑戰。
實際上,勘智 K510 的 CPU 是嘉楠自研。“第一代產品我們用的是 RISC-V 開源核心,明顯的優勢是不需要買版權節省成本,但漏洞也比較多。新一代的勘智 AI 晶片之所以選擇自研,主要還是因為我們的需求超過了開源核心的需求。”張楠賡解釋為何開始自研 RISC-V CPU。
硬體的自研對於有實力的晶片公司而言相對容易,但軟體生態的建設就需要整個行業的共同努力。“無論是阿里在 RISC-V 方面的工作,或者如果英特爾收購 SiFive,這對整個 RISC-V 生態的建設都有非常積極的作用。”張楠賡說:“我們是 RISC-V 堅定的擁護者,所以我們無論是硬體還是軟體,都受益於 RISC-V 社群,當然我們也將自己的設計和文件都上傳到 RISC-V 社群,希望能夠以身作則推動 RISC-V 生態的發展。”
“更多系統的支援對於我們產品的規模推廣有非常明顯的效果。剛推出勘智 K210 的時候,沒有系統的支援,開發者想要開發難度很大。後來有了 RTOS 和 Linux 的支援,這對我們勘智 K510 的應用非常有用。”張楠賡表示。
“目前看來,RISC-V 晶片用到遊戲領域可能會差一些,但除此之外的應用,使用 RISC-V 晶片都問題不大。”張楠賡認為“但我也不認為 RISC-V 會完全淘汰 Arm,Arm 在很多領域依舊會佔有一席之地。”
不可否認的是,RISC-V 的生態建設依舊是在追趕 Arm 的生態,遠談不上趕超。就嘉楠而言,他們設計出更高效能的 AI 晶片之後,但很多功能的實現因為軟體人員的缺乏,進度受阻。
張楠賡說他早已意識到缺乏軟體人員的問題,但他並不打算採用大量招聘軟體人才的方式解決這一問題,而是保持嘉楠硬體的基因,通過與更專業的合作伙伴共同解決軟體方面的挑戰。
張楠賡透露,嘉楠最早會在今年下半年公佈在軟體方面的合作進展。
還有一個更深層次的問題,嘉楠為什麼要選擇不成熟的 RISC-V CPU 推出 AI 晶片?張楠賡的回答是:“在行業的選擇上,我們選擇了 AI 這個有巨大需求量的市場,在技術上,選擇 RISC-V 有成本優勢,在未來的 AI 市場會大有所為,開源開放也是我們一直擁護的。”
麥肯錫預測,全球 AIoT 市場規模 2025 年或將達到 11.2 萬億美元。張楠賡對嘉楠未來 3-5 年實現億元級別的 AI 營收繼續保持樂觀,並且預測,當嘉楠的 AI 業務營收達到 500 萬到 1.5 億美元的某個時點,會迎來爆發點。
小結
AI 和 AI 晶片為什麼會在幾年的火熱之後就涼了?可以說是落地進展緩慢,更進一步來說缺少完整的 AI 產品,給消費者提供良好的體驗。作為提升產品體驗的關鍵,晶片算力的提升至關重要。嘉楠作為率先推出 AI 晶片,也是最早選擇 RISC-V 的公司,其產品和技術的演進給我們瞭解 AIoT 市場的發展提供了非常多可參考的資訊。
從使用公版 CPU 到選擇自研,從 KPU 架構的升級,到自研高速介面,可以看到這個市場在高速增長,也能看到嘉楠對於 AI 市場,以及做一件更大事情的信心。
張楠賡說:“一個公司的成功,最核心的是戰略的正確,對於嘉楠來說堅持自主研發就是戰略,解決別人沒有解決的事情。”
晶片出貨量已過億級,已經有 300 人晶片團隊的嘉楠,保持每兩年迭代一款 AI 晶片,按照算力高低分為 2 系、5 系、8 系滿足終端和邊緣市場需求,針對場景優化的勘智晶片,會帶給我們什麼驚喜?