1. 程式人生 > 資訊 >揭祕:百億美元 DPU 晶片市場的“三國殺”

揭祕:百億美元 DPU 晶片市場的“三國殺”

全球晶片行業近年來技術、產品、市場的變革,都與摩爾定律的放緩直接相關。AI 晶片就是典型代表,當傳統的 CPU、GPU 依靠摩爾定律帶來的晶片效能提升不足以滿足 AI、大資料的需求時,大量的 AI 晶片應運而生。

繼 AI 晶片之後,DPU(Data Processing Unit)晶片又成了各大晶片巨頭、網際網路巨頭、初創公司爭相研發的新產品,也是近年來資本熱衷投資的方向,所有的參與者都希望在市場爆發前搶佔先機。

不同於 CPU 和 GPU,DPU 是典型的應用驅動型晶片,傳統晶片巨頭有豐富的晶片設計經驗但對應用場景的理解不夠深入,網際網路巨頭深刻理解自身業務需求但晶片設計經驗不足,初創公司各有所長。

多位業內人士告訴雷鋒網,DPU 晶片市場將在 2-3 年後爆發。在全新的 DPU 賽場,誰能脫穎而出主導市場?

1.到底是 IPU 還是 DPU?

探討新鮮的 DPU,不妨從命名開始。DPU 的概念最早由美國一家名為 Fungible 的初創公司提出,但將 DPU 概念帶入大眾視野的是英偉達。在 Fungible 提出 DPU 概念的 2019 年,英偉達以 69 億美元收購了 Mellanox,一年後的 2020 年,英偉達基於 Mellanox 的產品釋出了 DPU,DPU 的概念一炮而紅。

今年 6 月,英特爾公佈了 IPU(Infrastructure Processing Unit,基礎設施處理器)的願景。

英特爾公司資料平臺事業部首席技術官 Guido Appenzeller 對雷鋒網表示,“DPU 和 IPU 在功能上沒有根本性差別,只是命名不同。我個人認為,IPU 這個名稱要好很多,因為 IPU 的作用就是處理基礎設施功能,這是其與眾不同之處。”

“IPU 和 DPU 都有其合理性,目前看將兩者畫等號問題不大。不過我更傾向於使用 DPU 的命名。”中科馭數 CEO 鄢貴海表示,“如果將處理器按照結構劃分,可以分為以控制為中心和資料為中心兩大類,DPU 是以資料為中心,強調的是吞吐量、運算的高效性等,以 DPU 命名也比較貼切。”

中科馭數是 2018 年成立於北京的 DPU 初創公司,在 7 月底宣佈獲得了數億元的 A 輪融資。

2020 年剛成立,在今年 7 月宣佈獲得數千萬元 Pre-A 輪融資的 DPU 初創公司大禹智芯也更傾向於 DPU 的命名方式。

大禹智芯 CEO 李爽說:“IPU 更多是從應用場景的角度命名,DPU 則是描述產品的功能,如果類比 CPU 和 GPU 的命名方式,我覺得 DPU 更合適。英特爾用 IPU 也很合理,畢竟這類產品還沒有形成標準,大公司想要自己定一個標準,而且,IPU 中也包含 intel 的首字母。”

無論是 IPU 還是 DPU,都是全新的命名,那全新的命名代表的是全新的產品嗎?李爽和 Guido Appenzeller 認為屬於全新的產品。鄢貴海則認為 DPU 只能視為全新的商品,實際上 DPU 的技術已經發展了很多年。

“DPU 是一個 I/O 密集型專用處理器,早在 40 年前,IBM 也有功能類似的產品,他們叫做 I/O 控制器。因此,DPU 的技術要素之前已經存在,只不過當時的重要性沒有凸顯,如今是通過 DPU 這樣一個產品來進行集中體現。”鄢貴海解釋。

李爽提出,“我們不應該把重點放在尋找 DPU 的定義上,而應該更多關注 DPU 要解決哪些問題。”

2.為什麼需要 DPU/IPU?

“DPU 誕生的背景是頻寬與計算效能的增速失調。CPU 的效能從 5-10 年前每年 30% 的增幅,到三年前大概只有每年不到 3% 的效能增幅。而網路頻寬每年依舊還有 35% 左右的增長。”鄢貴海指出:“處理效能和頻寬增速的比例從原來的大概 1:1,變成了現在的 1:10 左右。”

“當有 10 倍以上的差距時,就需要思考新的架構。因為原來的架構沒辦法進行平行擴充套件,這時候就需要專用的系統。所以 DPU 不能簡單講是一顆晶片,它是一個系統。”李爽認為,“DPU 實際上是架構轉移。”

Guido Appenzeller 從另外一個維度去解釋 IPU 的誕生。“傳統資料中心內只有一個主人。而在雲中,工作負載和系統則分別屬於租戶和雲系統提供商,我們看到這兩種架構開始分離。”他說,“IPU 是一個新興的架構,專門運行雲服務提供商的軟體,租賃這些伺服器的租戶的軟體則在 CPU 上執行。”

用一個形象的比喻來解釋傳統資料中心與雲服務提供商資料中心架構的不同,傳統的資料中心就像是家庭場景,客廳、廚房、餐廳都在一個大的區域內,有一個明確的主人。而云服務提供商的資料中心則像是酒店,客房、餐廳是分開的,酒店客人和工作人員也同樣分開。

Guido Appenzeller 認為 IPU 帶來了三個顯著優勢,首先,加入 IPU 的架構可以清晰地區分租戶區和雲服務提供商區。其次,可以把基礎設施功能轉移到專門優化的 IPU 上,實現效能的大幅提升。最後,IPU 把資料中心變成了無磁碟架構,無需再給每臺伺服器配備磁碟。

根據 Facebook 給出的資料,基於微服務的現代應用佔用了大量的 CPU 迴圈,從 31%-83% 不等,比如在 Web 應用中,83% 的 CPU 迴圈被用於開銷,包括傳輸、壓縮、解壓縮、加密等功能。如果把這些開銷從 CPU 轉移到 IPU,雲服務提供商就可以把整個 CPU 租給客戶。

鄢貴海也表示,資料中心東西流量與南北流量大約是 4:1,東西流量統計的是資料中心節點之間流量,這表明底層基礎設施之間消耗的計算資源遠大於對外提供服務消耗的資源。目前來看,網路解除安裝能力是客戶對 DPU 最剛性的需求。

接下來值得關心的問題就是這種新產品的技術路線。

3.有哪些型別的 DPU/IPU?

李爽認為,目前 DPU 有三種技術架構,一種是 Arm 多核或 MIPS 多核,一種是 CPU+FPGA 的架構,一種是 ASIC SoC 的架構。前兩種已經被驗證過,優劣勢也比較明顯。多核架構具有通用性,整個技術棧偏軟體為主。

Guido Appenzeller 只將 IPU 分為兩類架構,第一個是專用 ASIC IPU;第二個是基於 FPGA 的 IPU。“每一類都有自己的優勢和劣勢。基於 FPGA 的 IPU 能快速實施新協議,應對不斷變化的要求或新協議。專用 ASIC IPU 可以實現效能和效率的最大化。

“在美國和中國,六大雲服務提供商目前使用基於 FPGA 的 IPU。隨著頻寬變高,我們看到他們緩慢地轉向專用 ASIC IPU。因為存在很多專利協議,所以不會發生快速轉變。”Guido Appenzeller 指出 IPU 發展的趨勢。

鄢貴海也認同這個趨勢,“Arm/MIPS 多核的方式在實際的應用系統中未必能真正發揮優勢,FPGA 的方式可以在介面上省去一些功夫,但重要的部分沒有突破,我覺得是避重就輕。ASIC 的限制條件更少,能進行更多的定製,實現更大的差異化,差異化越大才能有更大的優勢。”

“通過與客戶的溝通我們發現,市場對於 DPU 的認可度非常高,但還沒有一款很好的 DPU 能夠滿足客戶需求,大家都在期待一款好的產品。”李爽指出市場都在期待一款優秀的 DPU。

這裡需要強調的是,雖然目前 IPU/DPU 與智慧網絡卡(SmartNIC)在形態和功能上有一些類似,但他們本質上是不同類別的產品。Guido Appenzeller 解釋,IPU 具有本地控制平面,這意味著 IPU 可以控制 CPU,而 SmartNIC 更多的是解除安裝,由 CPU 管理,處於 CPU 的控制系統中。

4.一款有競爭力的 DPU/IPU 有哪些特性?

正如對於 AI 晶片的評價還沒有公認的評價體系,想要評價尚在探索階段的 DPU 也並不容易。“如果評價 AI 晶片的效能已經很困難,我覺得評價 DPU 的效能會更困難。由於 DPU 本身功能的多樣性,導致我們去衡量它的時候需要的不是一個指標而是一套完整的指標。”鄢貴海指出。

比如,衡量 DPU 的網路加速功能,網路頻寬是關鍵指標。DPU 支援虛擬化,OVS 的轉發容量又是關鍵。考量 DPU 的資料壓縮/解壓縮,加密和解密效能,在非對稱的效能中選擇哪一個作為關鍵指標又是問題。

李爽指出,無論如何,DPU 的處理效能一定要大於埠的能力。

Guido Appenzeller 說:“設計一款出色的 IPU 有很多挑戰。我認為最難的部分是獲得加速器和流水線,因為它們負責做大部分工作,能夠確保具有非常高的效能、非常低的延遲,特別是對大規模雲提供商影響最大。”

當然,對於一款晶片來說,物理指標,包括效能、功耗和麵積依然可以作為衡量一款 DPU 的重要維度。但更重要的衡量維度是整個 DPU 系統,因為 DPU 是典型的場景驅動晶片。

“CPU、GPU 這些傳統的晶片都有標準的框架和技術定義,晶片設計公司按照定義去設計晶片,到了使用者端最困難的其實是驅動和軟體框架。所以最後會發現在晶片硬體效能相似的時候,比拼的是硬體和軟體的銜接。”李爽進一步表示,“DPU 是一個全新的系統,沒有參考設計。這時候只有充分理解客戶的需求,從底層硬體架構到軟體設計出一套新型的晶片系統滿足客戶需求是非常大的挑戰。”

“要設計一款有競爭力的 DPU,一定要對場景有非常深刻的理解。”李爽強調。

對於這一點,英特爾已經用產品證明,其首款產品是一款 200G 的 ASIC IPU,是與一家頂級雲服務提供商共同合作開發,實現更高的效能,包括資料包處理,安全性和隔離性等。

鄢貴海也說:“像 DPU 這樣應用驅動的晶片,其效能最終要體現在應用側。要在應用側發揮出 DPU 領先的效能,我認為軟體會成為一個重要的瓶頸。”

“這一點我們在之前已經感受到,在做網路二、三層協議解除安裝的時候,為了能夠充分發揮效能,幾乎要重構底層的 BSP 網路協議,但同時要保證 API 的不變。”鄢貴海說,“整個 DPU 系統的效能要提升,不僅要對應用層有足夠深度的瞭解,還需要有包括網路、虛擬化、儲存、高速匯流排協議方面的專業知識。因此需要一套非常好的設計方法和流程,將具備不同設計能力,對不同領域有深度瞭解的人和設計整合起來。”

“英偉達 DPU 的軟體棧 DOCA 是在複製了他們在 GPU+CUDA 領域的成功。客戶有學習和遷移的門檻,也是需要慎重考慮是否採用的選擇。”這是李爽和鄢貴海的共識。因此大禹智芯和中科馭數都是通過在軟體層面投入大量的工作,取不同客戶需求的最大公約數提供相應功能,在 API 層面儘量相容客戶已有的習慣,最大化降低客戶的使用門檻和遷移成本。

“目前我們還沒有準備好談論軟體,今年晚些時候會有更多相關訊息。”Guido Appenzeller 表示。

那麼,DPU 系統的競爭,會朝著什麼方向發展?

5. 2-3 年後正式開啟 DPU 賽場

有意思的是,此次與雷鋒網深度交流的三家 DPU 提供商,硬體路線都各有特色。英特爾是典型的傳統晶片巨頭的代表,他們擁有 ASIC IPU 和 FPGA IPU 兩條產品線。中科馭數選擇的是 ASIC IPU 的路線。大禹智芯採用 Arm、FPGA、ASIC 根據場景不同組合的路線。

ASIC 一般而言是在犧牲一定的靈活性的前提下獲得高效處理能力。對於採用 ASIC IPU 路線的中科馭數,鄢貴海對靈活性的看法是,“如果分工過於細緻但共享度不夠,可能會損失效率,但如果有足夠的共享程度,分工帶來的潛在靈活性損失會被極大彌補,這一點我倒不是特別擔心。而過分追求靈活性,也可能喪失 DPU 異構計算的潛力。”

大禹智芯堅持 DPU 的通用性。李爽解釋:“我們的目標是構建面向雲端計算市場的通用 DPU。所以在軟體可以複用,硬體採用多種方案。這實際也是降低風險的方式,先配合上層應用定義好軟體,在這個過程中不斷提取對硬體的定義,減少因為對場景理解不夠透徹可能導致的晶片設計偏差。”

據悉,大禹智芯會使用 Arm 的 IP 以及第三方的 FPGA,ASIC 則是自己的晶片團隊設計。

至於最終的落地情況,中科馭數 FPGA 版本的 DPU 已經與上交所、華泰證券、中泰證券、國泰君安等十餘家頭部客戶建立合作,其產品的效能、穩定性已經在實際應用場景中驗證。即將推出的下一代產品會向資料中心、5G 邊緣計算等領域擴充套件。

大禹智芯首要的目標市場與英特爾一樣都是雲服務提供商。李爽說,“我們的目標客戶是那些對於 DPU 的需求量不小,但又不夠支撐其自研的公司。這樣對於客戶和我們試錯成本都比較低。我們的策略是不做定製,要做 DPU 產品服務提供商。”

大禹智芯、中科馭數都把自己定位為中立的 DPU 供應商提供領域通用的晶片,核心的原因還是看到了這一市場未來的前景。頭豹研究院預測,中國 DPU 市場規模預計將在 2025 年達到 37.4 億美元。全球 DPU 市場規模 2025 年預計將達到 135.7 億美元。

中國 DPU 市場規模,2020-2025 年預測,來源:頭豹研究院

報告同時指出,數通市場是 DPU 最大的應用市場,其中裸金屬服務其對 DPU 存在剛需。DPU 在電信市場的應用主要為邊緣計算場景,滲透率不足 5%。針對智慧駕駛領域的 DPU 仍在探索階段,預計在 2023 年 DPU 才有望佈局在智慧駕駛領域。

Guido Appenzeller 認為“從根本上來說,運營模式類似雲就非常適合採用 IPU。”

“未來 2-3 年市場會爆發,因為現在各家公司的 DPU 從今年開始設計,硬體系統大概需要 2-3 年的時間。我認為近三年大家都沒有競爭關係,是在比賽誰先把產品推向市場。”李爽表示。

鄢貴海同樣認為,“2-3 年後市場陸續會有 DPU 產品推出,那時候 DPU 的競爭會更強調先進製程、先進封裝。我認為未來 DPU 的競爭一定是異構系統的競爭。”

Guido Appenzeller 對於當下 DPU 市場的態度是,“有幾家初創公司正在開發 DPU,而且擁有許多有趣的技術和產品,這對所有廠商來說都是非常有益的。從長遠來看,我認為雲端的幾乎每個伺服器都會有類似 IPU 的東西,這顯然是一個很大的市場。漸漸地,這不再是一個初創市場,而是由大公司主導的市場。”

但除了傳統的晶片巨頭和初創公司,頭部的雲廠商們也在自研 DPU 產品。亞馬遜雲科技(AWS)2013 年開始就開始研究將網路、儲存等之前由 CPU 處理的任務解除安裝到網絡卡上,並推出了相應的產品。阿里雲也在其神龍伺服器核心元件中應用了專用晶片,統一支援網路、I/O、儲存和外設的虛擬化。

此時,DPU 的效能和成本優勢都是競爭的關鍵。李爽預估,雲服務提供商採用 DPU 後可以帶來十倍的效能提升,TCO(總體擁有成本)能下降超過 10%。鄢貴海在有很多限制條件下做出的預估更加樂觀,TCO 下降可以達到 30%。

讓人更加期待的是,當 IPU/DPU 讓雲服務提供商擁有更強的能力之後,未來可能創造的新產品和新應用。

資本在加持,玩家在增加,傳統晶片巨頭、初創公司、自研 DPU 的頭部雲服務提供商,誰會成為最終統治市場的 2-3 家 DPU 提供商?