雲資料庫時代：企業資料架構的雲化智慧重構和變革(含大會PPT)

阿新 • • 發佈：2019-01-07

在2018年11月16日舉行的『資料技術嘉年華』大會上，我對行業近期的觀察和思考做了一個總結，在此和大家分享商榷。

（下載大會 PPT，關注公眾號回覆：2018DTC ，內容持續更新中，尚不完整）

640?wx_fmt=jpeg

我以為，近代資料庫技術的發展可以劃分為三個階段，分別是：

商業資料庫時代：以Oracle、DB2、Sybase、SQL Server 等產品為代表，開創了一個企業級軟體時代；
開源資料庫時代：以MySQL、PostgreSQL、MongoDB、Redis 等產品為代表，推動了網際網路時代；
雲資料庫時代：以Oracle的自治資料庫、AWS 的 Aurora、阿里雲的PolarDB等產品為代表，開創了雲時代；

640?wx_fmt=jpeg

在商業資料庫時代

，發展出一批偉大的產品和公司，Oracle 是其中的代表，至今仍以 2000億美元的市值巍峨屹立，這個時代的商業資料庫成就了一系列龐大的企業級軟體，ERP、CRM 等領域都有相當體量的企業存在，這個時代也是企業級軟體的時代，微軟和 IBM 都有卓越的資料庫產品，曾經是一個三足鼎立的資料庫時代漸漸被 Oracle 一枝獨秀.
在開源資料庫時代，呈現百花齊放的生態，支撐和成就了網際網路時代，然而這些開源資料庫產品本身並未獲得應有的價值回報，近期很多開源資料庫都在調整其開源協議，尤其是面對雲的時代變革。歷數開源時代的代表，MySQL 以10億美金賣身SUN公司，輾轉落入Oracle的囊中，大資料的標誌 Cloudera 和 Hortonworks 合併也僅僅 50億左右的市值，MongoDB 市值 40億美元左右，Elastic 市值 25億左右，這些資料庫產品似乎還不及『微軟以262 億美元全現金收購的LinkedIn』，這個時代是網際網路的時代

。
在雲資料庫時代，資料庫則成為了雲核心的一部分、一個元件，甚至不復單獨存在，Amazon 提供 Redshift 和 Aurora 等多種資料庫產品，阿里雲有 PolarDB 等多種資料庫，在這個時代雲才是永恆的主角，資料庫漸漸沉澱在底層，依託雲的價值，AWS、微軟、Google、阿里巴巴成為了雲時代的主角。

資料庫領域經歷了分分合合，再次呈現出百花齊放的局面，這讓我想起《易經》的一句『見群龍無首,吉』，唯有百花齊放，才見活力，企業也才有了選擇上的自由。

誠然，大時代風起雲湧，但是如果落地到企業級，我們認為使用者的核心訴求仍然是不變的，雲和恩墨從創業開始，就在企業手冊中描述了這樣一個認知，無論對於資料庫還是IT架構，使用者的核心訴求安全、連續、高效和智慧

不曾改變。所以我的主題演講用了八個字：穩築基石，雲帆萬里。只有打好基礎，才能雲途高遠，否則一切都只是空中樓閣，遇到真正的危機就可能轟然倒塌。

640?wx_fmt=jpeg

就企業的核心資料而言：

安全：安全是基石，尤其是雲時代的資料安全，沒有資料安全甚至就沒有企業生存，歐盟在2018年5月25日生效了 GDPR 法案，對於安全做出了嚴格的要求，對違反者做出2000萬歐元或企業全球年營業額4%的重量級處罰。在國內，今年漢庭的嚴重資料洩露已經將近2億使用者的資訊洩露；
連續：永續執行是雲時代和網際網路時代的核心訴求，無連續就無發展，傳統企業也漸漸的走上了24x7不間斷服務的道路上來，資料庫的連續執行只是其中的一環；
高效：效能是支援業務高速增長，獲得競爭力的關鍵，是成本和效率的核心。
智慧：智慧智慧是未來科技的必然發展方向，是企業競爭的制高點，是產品和技術演進的終極目標，資訊科技的各個環節都在走向智慧化。

就資料庫而言，Oracle 資料庫在不同版本中，同樣是圍繞這四個維度在不斷的改進產品，以下是幾個例證。

在 Oracle 12.2 中，針對由來已久的索引分裂問題，Oracle 做出了優化提升，尤其是在 RAC 叢集中，通過訊息改進、演算法優化，極大的降低了索引分裂的競爭，圖中可以看到 12.2 在索引分裂時幾乎保持事務率的穩定增長：

640?wx_fmt=jpeg

為了提升效能，Oracle 在擴充套件性方面不斷做出改進，在 12.2 引入 Sharding 技術之後，18c 進一步實現了 Sharded RAC 的新特性，可以將單一資料庫中的表資料根據條件分片到不同例項的記憶體中，透明路由訪問應用，減少了跨例項的互動，實現了近乎線性的擴充套件能力，測試曲線中，5個節點能夠實現 4.6倍的效能，解決了 RAC 人工分片或分散訪問的複雜性。

640?wx_fmt=jpeg

在多租戶的特性中，12.2 和 18c 分別實現了 Container Map 和動態 Container Map 的特性，事實上可以通過 MAP 對映將不同的表分割槽放置在獨立的 PDB 當中，形成了一個 PDB Sharding 。

640?wx_fmt=jpeg

為了保證業務連續性和容災，Oracle 的 Data Guard 技術一直在演進，為了加速主備切換，12.2 中實現了切換過程的連線保持，18c 實現了切換過程中的記憶體保持，這兩個小的改變都能夠極大的減少切換時間，確保業務連續性的實現：

640?wx_fmt=jpeg

在 19c 中，Oracle 進一步完善實現了 Data Guard 的自動 DML 轉發，在偶爾發現到備庫的 DML 時，自動轉發到主庫執行，傳遞日誌到備庫應用，實現備庫的透明化，讀寫分離更加靈活。

640?wx_fmt=jpeg

Oracle 18c 自治資料庫，其實也是 Oracle 的雲資料庫，基於雲的環境，自治才得以靈活的實現，自動供應環境、自動安全保護、自動擴充套件、自動更新等。Oracle 正在全力的將其核心產品轉移到雲上來。

640?wx_fmt=jpeg

如前所訴，今天資料庫的競爭已經轉移到了雲上來，而云時代的資料庫更多的是依託前兩個時代的技術積累，繼承其一致性、可用性，增強其分散式、彈性伸縮、安全能力，應雲而生、為雲而生，誰能夠在雲上掌握話語權，誰才能夠在未來的雲時代掌握資料先機。

聊完了雲上，我們再看看雲下，其實在很多企業的工作日常中，基礎運維工作還處在比較初級的狀態，很多工作仍然需要依賴人肉手工作坊式進行工作。如何從手工運維快速迭代，進入自動運維和 AIOps ，是現階段工作的主要核心。

固然企業級應用和網際網路有著一定的差異性，但是隨著雲時代的快速發展，我們認為企業級系統建設應當著眼於雲模式進行，以雲理念建設企業環境：

640?wx_fmt=jpeg

雲和恩墨雲時代的願景就是，緊緊圍繞資料，幫助和促進使用者實現從應用到資料庫、基礎設施的安全、連續、高效、智慧的雲化環境。

640?wx_fmt=jpeg

雲和恩墨致力於在基礎設施、資料庫和應用三個層面，圍繞資料核心，展開產品創新：

在 基礎設施 層：雲和恩墨可以為使用者提供基於雲時代的分散式儲存一體機 zData，以低成本、高效能，為雲時代資料環境加速，zData 可以作為儲存資源池，實現彈性伸縮，作為IaaS層設施構建企業級資料庫私有云，支援Oracle 、MySQL等多種資料庫。
在 資料庫 層：隨著越來越多的資料庫被引入到企業應用環境中（今天的一款企業級CRM就可能使用3種以上的資料庫），傳統的資料環境粗放式建設和管理模式應該改變，資料庫底層部署時代應該演進到平臺納管部署時代，通過 PaaS 層平臺自助、自動式進行資料庫的部署和維護，實現企業級RDS服務提供，由此才能解決資料環境不斷複雜化的挑戰。以前系統建設是先安裝資料庫，再向上尋求管理監控，通過zCloud的多資料庫支援，可以實現自上而下的統一部署和監控管理的企業RDS。
在應用層，業務總是通過 SQL 來訪問資料，控制住 SQL 效能也就控制住了系統的效能和穩定性，我們可以想象，以前DBA面對一個數據庫時就曾經四處救火焦頭爛額，如果在雲時代面臨 5~10 種資料庫將會是什麼局面？我們必須改變線上優化排障的局面。雲和恩墨的 SQM （SQL 效能管理）平臺致力於在前端發現和解決SQL效能問題，通過自動化和智慧化實現效能管控也就規避了線上救火。SQM 也已經在雲上提供了 SaaS 服務。