1. 程式人生 > 其它 >李飛飛:新技術變革時代的資料庫產業

李飛飛:新技術變革時代的資料庫產業

簡介:雲端計算將改變資料庫格局

近日,阿里雲智慧資料庫事業部負責人李飛飛在媒體溝通會上發表了“新技術變革時代的資料庫產業”主題演講。

李飛飛說,雲資料庫已經成為資料庫最重要的發展方向,從國際國內資料庫產業的發展來看,這個趨勢已經非常明顯。在他看來,在新技術大變革時期,中國資料庫市場也一定會發生一系列顯著的變化

具體到阿里雲的發展策略,他表示,作為中國排名第一的資料庫廠商,阿里雲已經做好了全面服務政企市場的準備,並會在這個市場上持續發力。

以下為演講的核心內容:

資料庫的未來:雲原生+分散式

首先回顧整個資料庫的發展歷程。

過去幾十年,IT基礎設施的規模正在發生鉅變,從早期的大型機、小型機,再到X86伺服器,到網際網路,再到雲+端的演進,底層的裝置數量出現了從幾十臺到幾百萬臺指數級的增長。

這種基礎設施的變化,為上層資料庫的演進提供了堅實的基礎。就像物種會隨著環境的變化而演進一樣,當基礎設施——計算、儲存、網路這些基礎的計算資源不斷演進的時候,這些基礎設施之上的資料庫系統,也需相應地持續演進。

不同的基礎設施對應了不同的應用場景,以及資料庫發展的不同歷史階段。

過去幾十年,資料庫經歷了從早期的關係型資料庫,到後來的資料倉庫和關係型資料庫配合,OLTP和OLAP兩個領域的細分,到後面開源資料庫,再到今天雲資料庫的一個發展歷程。

DB-Engines對資料庫領域有深入的跟蹤分析。目前,這個網站上有近400款不同的資料庫的產品,這個數字直白地說明資料庫市場競爭非常激烈。

DB-Engines網站上的資料庫分為不同型別,有關係型資料庫、圖、文件、分析型資料庫等,分別對應不同行業特點和客戶需求的細分市場。除了傳統商業化資料庫,開源社群的資料庫發展也非常迅猛。

DB-Engines有一個指數——Popularity Trend,這是通過各種指標計算出的。該指數顯示開源資料庫和商業資料庫之間的流行差距已經快速縮小。

這一切都表明了資料庫行業正在發生新的變化。權威市場研究機構Gartner在相關報告中闡述了幾個非常重要的趨勢:

第一,資料規模爆炸性增長。我們處在一個大資料時代,毋庸置疑。

第二,資料的生產和處理的實時化需求越來越強。這也是為什麼阿里雲今天提出雲原生資料庫2.0,提供一站式資料管理與服務。

第三,生產和資料處理的智慧化。現在使用者對資料的處理不再停留在傳統的事務處理、交易以及簡單或聚合類的分析查詢,而是希望能從資料中得到更多洞察,利用資料驅動智慧的業務決策。這對我們資料庫後續的發展也提出了新的挑戰。

最後,資料在加速上雲。這是非常明顯的行業趨勢,雖然有公共雲、混合雲、私有云等各種形態,但是各行業對雲化的部署方式已是深信不疑。根據Gartner預測,到2023年,全世界75%的資料庫都會以雲的方式在執行。

資料庫系統架構也在快速演進。最早資料庫是單節點架構,傳統的商業資料庫和開源資料庫都是這個架構。

在實際的應用部署中,這種資料庫的優點是部署簡單,開發簡單。但是也有缺點,首先無法提供高可用能力、主備的運維、高可用切換、非常複雜且面對非常大的技術挑戰;其次,無法快速擴容。就比如自己家後院的小倉庫,當資料量或者併發處理的要求超過容量的時候,沒有辦法快速擴容。

為了解決彈性擴充套件、高可用等問題,業界衍生出兩個核心技術路線,一個是雲原生的技術路線,一個是分散式資料庫的技術路線。

雲原生到底是什麼?

雲原生的本質就是將資源池化,就像以前家家戶戶在後院挖個水井,今天不會再在後院挖個水井,而是會開啟水龍頭,按需按量使用,彈性計費使用水的資源,有一個大的池子,這就叫資源池化,其實和雲端計算使用計算儲存網路資源是一樣的道理。

雲原生資料庫核心的理念就是利用雲端計算的本質,運用虛擬化的技術,將資料庫裡面的核心資源進行池化處理,以此解決資源彈性、高可用的挑戰。這裡面還有一個核心的理念——儲存計算分離,通過將儲存和計算解耦,分別靈活彈性地滿足客戶業務需求。

除了雲原生,另一個技術方向是分散式。

通過分散式的方式,可以將計算和儲存進行水平拓展,滿足業務的大資料量以及高併發的需求。當然這也有挑戰,分散式的事務處理,資料庫仍需要滿足ACID原子性、一致性、隔離性、永續性等特性。在分散式架構下,保證讀寫的高效處理非常有挑戰。

資料庫未來的發展趨勢一定是將雲原生能力和分散式能力合二為一,既提供分散式的水平拓展能力,也提供雲原生的彈性高可用能力。將兩者結合起來,也是阿里雲以PolarDB為代表的雲原生資料庫,進一步去探索和發展的方向。

雲端計算改變資料庫市場格局

阿里雲資料庫在雲原生領域持續進行了多年的耕耘和積累,我們取得了一些進展。Gartner預測在2023年75%的資料庫都會以雲的方式來執行。

Gartner每年都會做魔力象限,對雲端計算IT領域重要賽道進行評估。2013年之前,資料庫領導者象限基本是被傳統的幾個巨頭佔據,Oracle、微軟、IBM的DB2,還有SAP。

到2020年,市場發生了翻天覆地的變化,在海外市場有一個明顯的特點是,除了傳統資料庫巨頭,AWS、谷歌、微軟等雲廠商也進入領導者象限。

值得一提的是現在的微軟和當年的微軟完全不同,微軟此次進入領導者象限是由於其雲資料庫的服務能力快速提升,極具競爭力。結合其線下資料庫和雲資料庫兩個賽道的優勢,微軟已經實現了在整體市場份額上對Oracle的反超。

阿里雲資料庫在2020年首次進入了全球資料庫領導者象限,這也是Gartner在產品成熟度、技術先進性、客戶滿意度,以及市場佔有率等多個維度深度評估後給出的高度認可。

圖片來源:特大號

上圖是十年前和2020年最新的全球資料庫市場份額排名對比。全球資料庫市場份額列表包含了雲資料庫的市場份額以及傳統線下資料庫的市場份額,兩者結合分析,過去Oracle一直佔據第一,2020年微軟第一次反超Oracle。

這其實是微軟利用SQL Server以及Azure雲資料庫的快速成長,兩個賽道結合實現了對Oracle的反超,這是非常具有歷史意義的里程碑事件,再次凸顯了雲資料庫在新的環境下,對各個廠商及資料庫市場的重要性。

另外,在過去幾年,阿里雲的市場份額持續提升,已經到了全球第七位。如果只看雲資料庫賽道,阿里雲排名全球第四,位列AWS、微軟、谷歌之後。

資料庫產業的歷史新機遇

雖然資料庫是一個發展了四十年的賽道,但它並不是一個墨守成規的賽道。我認為在今天這個時間節點,資料庫還是一個非常有活力的賽道,孕育著大量新的市場機遇和新的爆發點。

第一,資料庫是基礎軟體類目的第一大賽道,基礎軟體有很多,但資料庫是基礎軟體裡最為核心的類目,也是市場體量最大的一個類目。

第二,從開發者的角度看,超過一半的開發者都需要使用資料庫,其重要性毋庸置疑。

中國資料庫的產業發展有幾個新的機遇,可以稱之為四新——新政策、新面孔、新技術、新機遇。

第一,新政策。這主要是國家出臺了系列政策,將對基礎軟體的重視程度提升到了前所未有的高度。國家非常鼓勵我們中國的企業,通過開放、公平的市場競爭方式,提升國產資料庫的競爭力,從技術水位、市場份額來看,國家也提供了非常好的環境。

第二,新面孔。傳統的上一代國產資料庫廠商叫四小龍,衍生到今天國產資料庫的賽道百花齊放,出現了更多的新面孔,包括以阿里云為代表的雲服務廠商,還有專門做企業級資料庫軟體的廠商等。

第三,新技術。今天之所以我們有這個機遇去挑戰傳統資料庫廠商市場第一的地位,並且實現了超越,本質上是我們所處的環境發生了巨大變化。

如同達爾文的《進化論》,物種要快速進化的前提是周圍的環境發生變化,新物種適應環境的能力比具有統治地位的老物種更快,它的進化速度就會更快。

新技術的產生,像雲原生、分散式、智慧化,面向物聯網的多模資料的處理、安全可信、新硬體、以及開源,這些維度是今天以及未來很長一段時間,各個資料庫廠商會展開激烈競爭的賽道。

最後,新機遇。越來越多的企業級使用者會選擇雲的部署方式,這個為我們進入傳統政企市場提供了非常好的機遇。

阿里雲資料庫不僅在公共雲市場處於領導者地位,也做好了全面為線下傳統政企市場服務的準備,事實上我們已經服務了大量傳統政企客戶,並且用雲原生、雲端計算的方式,為他們帶來了以前傳統部署方式享受不到的技術紅利,不僅僅是從IT降成本,保障穩定執行,更是帶來了新的業務價值,新的業務機遇

雲原生資料庫2.0:一站式資料管理

回顧阿里巴巴資料庫的發展歷程:

2005年-2009年,電商高速發展時期,阿里巴巴集團擁有亞洲最大的Oracle叢集;

2010年-2013年,阿里巴巴成功用自主開源的AliSQL替換了傳統商業資料庫;

2014年,阿里巴巴開始佈局自研資料庫,因為業務推著我們往前走,比如雙十一電商場景,有異地多活、熱點打卡、秒殺的需求,讓我們看到了自研資料庫的價值,於是我們堅定投入到資料庫這個基礎軟體的自主研發中去;

2017年到今天,通過多年積累的資料庫技術,我們提供了豐富的資料庫的服務,比如雲資料庫的託管服務RDS、雲原生資料庫PolarDB和分散式版本PolarDB-X、以及雲原生資料倉庫AnalyticDB,這些核心產品形成了我們資料庫產品和服務的矩陣。

通過技術迭代,雲原生資料庫2.0時代,我們希望提供一站式的資料管理與服務。

阿里雲資料庫已經毫無爭議的來到了中國資料庫市場第一的位置,在全球舞臺上,具備了向更高臺階、更高市場份額競爭和挑戰的能力,進入了Gartner全球資料庫領導者象限。

另外,根據IDC最新的中國關係型資料庫市場份額的研究報告,公共雲加線下合起來統計,阿里雲資料庫的市場份額佔比28%,超越了第二名十個百分點。 在Forrester最新數倉報告中,雲原生數倉AnalyticDB也進入了全球的強勁領導者象限,在業界的標準基準測試裡面,取得多項效能及價效比第一的結果。

我們不僅在商業市場上取得巨大的突破和成就,還得到了國家的高度認可。雲原生最核心的產品,雲原生資料庫PolarDB去年獲得中國電子學會的科技進步一等獎,這是中國電子學會最高的獎項。我們的資料庫也是唯一入選的資料庫的產品,體現了從國家層面,從科研的角度,對我們的新技術、新科研實力的認可。

雲原生數倉AnalyticDB也獲得了浙江省科技進步一等獎,我們進行了對x86、ARM等多種硬體以及作業系統的適配,這樣可以更好的服務中國的企業級市場和客戶。

展望未來,我認為雲原生資料庫已經發展到了Gartner提到的市場發展階段,開始直面數據的實時性、線上交易分析一體化、資料智慧化處理等新需求。

因此,我們提出雲原生資料庫2.0,提供一站式資料管理與服務的能力,通過資料生產和整合,到資料實時處理、儲存,再到資料分析和發現,最後到資料開發和管理,提供全鏈路資料生命週期的管理。

在這個基礎上,我們為客戶提供面向行業的解決方案,也就是面向不同客戶且能產生行業價值的解決方案,最後聯合我們的生態合作伙伴一起服務客戶,從分銷生態到ISV被整合,再到服務生態,再到開發者,形成一整套的資料全鏈路的管理和服務的能力。

最後感謝我們的客戶,我們的客戶分佈在各行各業,從泛網際網路行業,到傳統的政企,包括交通、能源、電力、銀行、保險、證券等行業。

我們非常自豪可以通過阿里雲資料庫產品和服務,以及不斷的迭代創新,創造客戶價值。通過為客戶提供優質的資料庫服務,幫助客戶取得業務上的進展和成功,我們的客戶再去服務千家萬戶,最終為整個社會的發展做出貢獻。

原文連結
本文為阿里雲原創內容,未經允許不得轉載。