1. 程式人生 > >巨杉Tech | 微服務趨勢下的資料庫設計與應用簡析

巨杉Tech | 微服務趨勢下的資料庫設計與應用簡析

上週五(7月12日)巨杉資料庫參與了由得到App主辦八里莊技術沙龍活動,分享主題是關於分散式資料庫架構與實戰。

以下就是根據巨杉資料庫現場分享的內容進行的分享實錄整理。

巨杉資料庫簡介

巨杉,專注新一代分散式資料庫技術研發,自2011年成立以來,堅持從零開始打造分散式開源資料庫引擎,是中國首家連續兩年入選 Gartner 資料庫報告的資料庫廠商。

巨杉資料庫的主要產品包括 SequoiaDB 分散式關係型資料庫與 SequoiaCM 企業內容管理軟體,應用場景包括分散式線上交易、資料中臺、分散式內容管理等。

目前,巨杉資料庫已在近百家大型商業銀行核心生產業務上線,並廣泛應用於金融、電信、政府、網際網路、交通等領域,企業使用者總數超過1000家。

資料庫應如何應對微服務發展趨勢

很多企內部的用開都在從傳統件加資料煙囪式,向微服架構型。而在微服體系架構中,幾乎每個微服都需要提供資料持久化的能力,而用也希望每個微服所承的資料量能無限的擴張。但是,在採用微服架構的程中,每個微服使用自身獨立的資料又會使去集中在一個地方的資料分散到很多不同的裝置中,造成整個IT架構的資料重碎片化。

實際上,當企業使用者採用微服務體系架構的時候,從資料管理的角度,業界有兩種做法。

第一種:就是對應用程式行微服改造,底資料使用傳統集中式資料庫進行存種做法學成本也低,其存在資料

耦合,無法擴張,以及可能存在點故障等問題

第二種:每一微服務對應一個獨立的小資料,往往使用MySQLPostgreSQL界使用多的。種機制能解決集中式存問題,但是也來了新的挑,包括資料極度碎片化,在微服無法共享,運成本極其高昂。

兩種法都不能很好的解決微服下資料存管理的問題,因此分散式資料就是要解決上述的兩個問題。第一就是針對每個微服做到資料擴張,第二就是整個企IT做到資料的一治理從而避免碎片化存

聯機交易需要什麼樣的分散式資料庫

聯機交易資料庫特

適合微服的分散式資料應該具有特性,主要應該從兩大度。一是

對傳統的相容,二是技和架構的新。

傳統技術的相容方面,必須支援ACIDSQL的完整性。

從新技的前瞻性來看,首先,分散式資料的核心價在於資料庫資源池在保傳統資料100%相容的基上,必須滿足分散式擴張,當源池裡面空算能力不足,需要通過動態增加算存儲節點的方式容。

其次,大家採用的開流程、SQL標準、以及安全策略各不相同,因此分散式資料庫必須能夠支援多種模式的訪問介面

最後,HTAP,即交易分析混合理能力。機交易資料與實時資料分析在源池內源隔離,同一份資料庫訪問並可以做到互不幹。適合微服的資料較強的交易分析混合理能力。

分散式資料庫架構及關鍵特性

巨杉資料庫例項化架構

要打造適合微服架構的資料,巨杉資料採用了算存分離的架構。其中存儲層採用自研的原生分散式資料引擎,上層計層則可以建成百上千個數據庫實例,同每個資料庫實對應用完全透明,不需感知。如5所示。

計算與儲存分離架

對於計算和儲存分離,把分散式儲存層展開,SeuqoiaDB分散式存引擎有很多點角色,其中有協調節點和資料點和點。協調節點是資料路由,資料存在資料點。點儲存整個資料集群系資訊。資料點把資料打散到不同的分割槽中,使用三副本架構,任何一個點出故障,不影響正常執行。

巨杉資料核心

巨杉資料度下的定位是一款真正的金融分散式關係型資料 巨杉資料目前在企業級應景主要包括分散式在交易、資料中臺以及分散式內容管理。

交易是資料最廣泛用的景之一,通常用來支撐核心業務。分散式在交易資料核心業務包括,分散式架構型,高並、高理能力,業務續擴展能力以及自主可控與資料安全要求。

資料中臺提供全量資料的實時,泛指傳統核心交易以外的所有外服務業務

內容管理平臺提供存、管理和使用海量非構化資料能力。常見應用包括影像平臺、文件管理平臺、音視訊等。

分散式事能力

巨杉資料支援分散式事,使用二段提交確保多個點之資料一致,機制是悲觀鎖,支援MVCC寫提交能力。

 HTAP讀寫分

多租戶物理隔離能力

通過資料庫引擎的分散式架構、Multimodel多模資料儲存型別以及例項化的資料庫例項管理,巨杉資料庫可以實現多租戶啊管理的能力、HTAP等等雲化資料庫必須的技術能力。

最後八里莊技會主席李丹與巨杉資料術專家合照留念,期待更多資料

相關推薦

Tech | 服務趨勢資料庫設計應用

上週五(7月12日)巨杉資料庫參與了由得到App主辦八里莊技術沙龍活動,分享主題是關於分散式資料庫架構與實戰。 以下就是根據巨杉

認證鑑權API許可權控制在服務架構中的設計實現

引言: 本文系《認證鑑權與API許可權控制在微服務架構中的設計與實現》系列的第一篇,本系列預計四篇文章講解微服務下的認證鑑權與API許可權控制的實現。 1. 背景 最近在做許可權相關服務的開發,在系統微服務化後,原有的單體應用是基於session的安全許可權方式,不能滿足現有的微服務架構的認

認證鑑權API許可權控制在服務架構中的設計實現(四)

引言: 本文系《認證鑑權與API許可權控制在微服務架構中的設計與實現》系列的完結篇,前面三篇已經將認證鑑權與API許可權控制的流程和主要細節講解完。本文比較長,對這個系列進行收尾,主要內容包括對授權和鑑權流程之外的endpoint以及Spring Security過濾器部分踩坑的經歷。歡迎閱讀本系列

認證鑑權API許可權控制在服務架構中的設計實現(三)

引言: 本文系《認證鑑權與API許可權控制在微服務架構中的設計與實現》系列的第三篇,本文重點講解token以及API級別的鑑權。本文對涉及到的大部分程式碼進行了分析,歡迎訂閱本系列文章。 1. 前文回顧 在開始講解這一篇文章之前,先對之前兩篇文章進行回憶下。在第一篇 認證鑑權與AP

服務介面限流設計思考

服務治理本身的概念比較大,包括鑑權、限流、降級、熔斷、監控告警等等,本文聚焦於限流,分享一些對微服務介面限流的思考。 本文試圖講清楚以下問題: 如何對介面選擇合適的限流時間粒度和最大限流值? 如何驗證微服務介面限流功能的有效性和正確性? 如何打造高

服務的接入層設計動靜資源隔離

此文已由作者劉超授權網易雲社群釋出。歡迎訪問網易雲社群,瞭解更多網易技術產品運營經驗。這個系列是微服務高併發設計,所以我們先從最外層的接入層入手,看都有什麼樣的策略保證高併發。接入層的架構畫一個簡圖來講包括下面的部分 接下來我們依次解析各個部分以及可以做的優化。一、資料中心之

認證鑑權API許可權控制在服務架構中的設計實現(一)

引言: 本文系《認證鑑權與API許可權控制在微服務架構中的設計與實現》系列的第一篇,本系列預計四篇文章講解微服務下的認證鑑權與API許可權控制的實現。 1. 背景 最近在做許可權相關服務的開發,在系統微服務化後,原有的單體應用是基於Session的安全許可權方式,不能滿足現有的微服務架構的認證

《基於SpringCloud服務架構廣告系統設計實現》筆記

img span 設計與實現 微服務 課程 png 1-1 分享圖片 bubuko 1-1 課程導學 什麽是廣告系統? 2-1 廣告系統概覽 2-2 廣告系統架構 2-3 準備工作與系統目錄結構 《基於SpringCl

資料庫設計三大正規化

為了建立冗餘較小、結構合理的資料庫,設計資料庫時必須遵循一定的規則。在關係型資料庫中這種規則就稱為正規化。正規化是符合某一種設計要求的總結。要想設計一個結構合理的關係型資料庫,必須滿足一定的正規化。       在實際開發中最為常見的設計正規化有三

不同服務獨立資料庫,如何保障服務架構的資料一致性

雖然已經紅了很久,但是“微服務架構”正變得越來越重要,也將繼續火下去。各個公司與技術人員都在分享微服務架構的相關知識與實踐經驗,但我們發現,目前網上的這些相關文章中,要麼上來就是很有借鑑意義的乾貨,要麼就是以高階的專業術語來講述何為微服務架構。就是沒有一個做到成熟地將技

Tech|SequoiaDB 資料庫高可用容災測試

資料庫的高可用是指最大程度地為使用者提供服務,避免伺服器宕機等故障帶來的服務中斷。資料庫的高可用性不僅僅體現在資料庫能否持續提供服

服務架構的分布式數據管理

數據庫更新 event 可擴展 存儲 展現 文檔數據庫 and 持久化 class 1.1 分布式數據管理之痛點 為了確保微服務之間松耦合,每個服務都有自己的數據庫, 有的是關系型數據庫(SQL),有的是非關系型數據庫(NoSQL)。 開發企業事務往往牽涉到多個服務,要

從 0 開始的服務架構:(四)如何保障服務架構的數據一致性

網上 行數 解決方案 open 了解 傳播 發的 目的 cati 雖然已經紅了很久,但是“微服務架構”正變得越來越重要,也將繼續火下去。各個公司與技術人員都在分享微服務架構的相關知識與實踐經驗,但我們發現,目前網上的這些相關文章中,要麽上來就是很有借鑒意義的幹貨,要麽就是以

服務架構業務單機QPS跑不上去應從哪些角度分析

應用運維 性能分析 微服務 這是做應用運維老生常談的一個事兒,經常做,今天把他總結一下。不管什麽性質的業務,吞吐量的本質是木桶原理,能跑多大量取決於木桶最短的那個板,腦袋裏是不是立刻可以出現木桶的那個模型,哈哈!!換句話說,當有能力提高短板的高度時,業務的吞吐量就會有所上升,但同樣有個邊際效應,經

服務架構使用Spring Cloud Zuul作為網關將多個服務整合到一個Swagger服務

turn 接口文檔 vid 使用方法 數據操作 prefix opera tor font 註意:   如果你正在研究微服務,那必然少不了服務之間的相互調用,哪麽服務之間的接口以及api就必須生成系統的管理文檔了。如果你希望更好的管理你的API,你希望有一個工具能一站式地解

服務架構 Service Mesh 會是閃亮的明天嗎?

在一起 7月 部署 服務發現 代理 負載 開源項目 images 我們 7月7日,時速雲企業級容器 PaaS 技術沙龍第 10 期在上海成功舉辦,時速雲容器架構負責人魏巍為大家詳細講解了 Service Mesh 中代表性的實踐方案、並以 Istio 為例詳細講解了 Ser

服務架構的監控系統設計(一)——指標數據的采集展示

ans 定義數據 采集函數 健康 eset 中間件 松耦合 實例 叠代優化 前言微服務是一種架構風格,一個大型復雜軟件應用通常由多個微服務組成。系統中的各個微服務可被獨立部署,各個微服務之間是松耦合的。每個微服務僅關註於完成一件任務並很好地完成該任務。微服務之前很多單體應用

Devops服務架構具有代碼級穿透能力的精準測試

完整 穿透 繼續 分布式 監控 威脅 多層 微服務 devops 微服務是Devops場景下熱門的開發框架,在大型項目中被廣泛采用。它把一個大型的單個應用程序和服務拆分為數十個的支持微服務,獨立部署、互相隔離,通過擴展組件來處理功能瓶頸問題,比傳統的應用程序更能有效利用計算

【分布式事務】服務架構的分布式事務問題

queue spring 回滾 事務提交 relative 社區 confirm 模型 功能 一、基本概念 ACID理論:關系型數據庫的事務滿足 ACID 的特性,具有 ACID 特性的數據庫支持數據的強一致性,保證了數據本身不會出現不一致。適用於傳統的單體架構。 CAP

服務架構的資料一致性保證(二):可靠事件模式

第一篇分享中講到實現可靠事件模式的關鍵在於:可靠事件投遞和避免事件重複消費,其中避免事件重複消費需要微服務滿足冪等性。那麼又該如何實現可靠事件投遞?又該如何保證服務滿足冪等性? 轉載本文需註明出處:EAII企業架構創新研究院,違者必究。如需加入微信群參與微課堂、架構設計與討論直播請