墨天輪國產資料庫沙龍 | 四維縱橫姚延棟 :MatrixDB,All-in-One高效能時序資料庫
分享嘉賓:姚延棟
北京四維縱橫資料有限公司創始人、原Greenplum 北京研發中心總經理、Greenplum中國開源社群創始人、PostgreSQL中文社群常委、壹零貳肆數字基金會(非營利組織)聯合發起人
整理:墨天輪社群
導讀
物聯網、車聯網、工業網際網路的快速發展,標誌著我們正在加速進入萬物互聯的時代,時序資料庫成為資料架構技術棧的標配。
MatrixDB作為全球超融合時序資料庫開創者,專為物聯網、車聯網、工業網際網路和智慧城市打造的一站式資料平臺。今天我分享的內容分為四個主題:時序資料與時序資料庫,MatrixDB特點、MatrixDB案例。
時序資料
1、什麼是時序資料?
首先,時序更多是一種視角,用來洞悉過去、分析未來、決斷現在
在每一個時刻都會產生各種各樣的資料,比如指標資料、位置資料、點雲資料、影象資料等,類似於一個快照。不同時刻持續的資料積累下來,就形成了一個時間序列,這就是時間序列資料。
在某一個時刻我們可以知道當下的狀態,這些時刻的疊加就可以洞悉過去分析、決斷未來,這就是時序資料庫的巨大價值。
時序資料處處皆有,且快速增長。在未來時序資料的體量將會越來越大,且處處皆有。時序資料一定要有關係資料的整合,才能發揮真正的價值。
2、基本概念和建模
時序資料三種建模方式分為:窄表模式、寬表模式、樹形模式。
- 窄表模式:類似Sorted KV,⼀條表示⼀個數據點,核⼼是指標,弱裝置概念
- 寬表模式:⼀條表示多個數據點,核⼼是裝置或者實體
- 樹形模式,核⼼是指標,與窄表區別是以層級⽅式組織元資料
三種模式,窄表寫⼊靈活,寬表查詢靈活,樹居中。
圖1 三種建模模式的對比
時序資料庫
1、時序資料庫的發展演變
時序資料庫的發展最早可追溯到上世紀80年代。而在早期時序資料庫都是針對特定的場景。
MatrixDB在2020年創立,在萬物互聯的趨勢下,為物聯網、車聯網、工業網際網路設計的一款特特色的資料庫。
圖2 時序資料庫演進歷史
2、時序資料庫的發展趨勢
- 第1大趨勢:從監控走向分析
過去時序場景主要用於伺服器監控,伺服器不過幾萬臺,儲存7天到30天的資料,資料量小且主要目的是監控;但隨著物聯網、工業物聯網、車聯網的崛起下,資料量大且主要目的是分析,通過分析挖掘海量時序資料的價值。
- 第2大趨勢:資料模型從窄表走向寬表
相比於“窄表”,“寬表”能夠業務相關的測點、維度和屬性資訊放在一張或者幾張資料庫表中,儲存效率高,速度快,適合大資料量及複雜業務場景。
在物聯網、工業物聯網、車聯網的場景的崛起,時序資料庫越來越重視分析,寬表模型越來越多,近幾年出現的新時序資料庫也都是以寬表模型為主。
- 第3大趨勢:資料規模走向PB級
隨著物聯網的發展,資料規模將會越來越大,從之前的GB/TB級走向PB級。
- 第4大趨勢:技術棧走向超融合時序資料庫
從各種開源軟體拼搭起來走向 ONE FOR ALL 的架構方式。借鑑奧卡姆剃刀原理:“如無必要,勿增實體”。一個數據庫可以完成的事情,就不需要太多的資料庫來處理。
因此,MatrixDB的目標是把“極簡”、“極速”留給使用者,把複雜留給資料庫開發人員。
圖3 時序資料庫的未來發展趨勢
MatrixDB特點
1、MatrixDB產品簡介
MatrixDB是全球首款超融合時空資料庫,基於自主研發的多項專利技術,實現海量時空資料的快速採集、高效儲存、實時分析以及深度學習(ML+AL),比傳統的時序資料庫InfluxDB、OpenTSDB效能快50倍,空間節省60%以上,比傳統的MPP資料庫快到3-100倍。
Matrix DB廣泛應用於能源、航空航天、汽車和車聯網、智慧製造和工業網際網路、金融、保險、證券、5G通訊、雷達和氣象、智慧農業、生物醫療研發、智慧城市、智慧家居等各行各業,覆蓋智慧監控、實時控制、裝置溯源、使用者畫像、行為分析和預測分析等多種應用場景,為物聯網、車聯網、工業網際網路和智慧生活提供堅實、簡潔的資料基座。
圖4 MatrixDB全景圖
2、MatrixDB產品優勢
-
All in One:一個數據庫直接處理各種資料型別,不管是時序資料、GIS 資料、傳統的關係資料、KV 資料或 JSON 資料等。
-
穩定可靠:MatrixDB 基於開源的 Greenplum 及 PostgreSQL 來開發,這兩個產品都經過幾十年的積累沉澱。研發內部也有很多的測試用例,分兩大類:幾十萬的靜態測試及混沌測試 ,可以說 MatrixDB 是站在巨人的肩膀上。
-
大規模:海量的資料規模已經達到 PB 級的資料量,資料庫要能支援100 PB 級,大量節點的可擴充套件性,線性擴充套件能力強可以隨時加節點,能力是呈現線性增長的,線上性擴充套件點上,最小的叢集能支撐多大的資料量。
-
高效能:MatrixDB 是支撐於 Greenplum,使用核心的 MPP 為主體架構,在此基礎上加了專門優化時序場景的執行器,以及為時序場景優化的儲存器。
-
企業級特性齊全:對於資料庫而言,POC 關注效能,一旦上了生產,更關注穩定性、可運維性,MatrixDB 有監控報警、線上擴容、備份恢復及安全控制等企業級特性非常的齊全。
-
生態完備:與 PostgreSQL 12 / Greenplum 相容,無縫對接Hadoop生態,在資料庫內部進行 Machine Learning 訓練,支援 Python 及 R 等 UDF。
圖5 MatrixDB產品優勢
MatrixDB案例
MatrixDB 的應用案例主要分為三大類:數字孿生智慧裝置、工廠大腦智慧製造、經典數倉實時分析。
圖6 MatrixDB案例場景分類
1、案例一:某造車新勢力
新能源造⻋新勢⼒快速發展,銷量年增⻓率超過200%,過去基於 OpenTSDB+Hive 的技術架構⽆法⽀撐其快速增⻓的資料量和業務,創新迭代速度受限,成為發展瓶頸。
使用MatrixDB 建設後效果明顯,硬體成本節省80%,寫入效率提升10倍、特定查詢效率提升100倍、開發運維效率提升1倍。
圖7 MatrixDB 在造車新勢力的應用案例
2、案例二:某能源科技巨頭
動⼒電池製造巨頭,基於電池充放電資料分析,⽀持電池健康狀況檢查、電池⻛險預警、電池⼯藝優化等關鍵業務。由於業務快速增⻓,基於 Spark + Hive 的⽼架構成為瓶頸。
通過MatrixDB 建設後,實現了儲存500TB電池充放電資料、計算開銷節省85%、儲存開銷節省30%的效果。
圖8 MatrixDB 在新能源科技的應用案例
3、案例三:某裝備製造業巨頭
智慧裝備運維和優化某裝備製造業巨頭對分佈在全球各地的產品進⾏智慧化改造,使其對產品的使⽤過程瞭如指掌,為客戶提供運維管理、預測維修、動⼒優化等。
用All-in-One替代MySQL/TDEngine/Greenplum/Spark,實現叢集硬體節省⼀半,效能提升6倍的效果。
圖9 MatrixDB 在裝備製造業的應用案例
4、案例四:某物流物聯⽹服務商
建設效果:
- 數⽉資料量:300TB
- 實時定位:100ms返回,1000併發
- 1天軌跡500ms內返回,3天軌跡1秒返回
- 資料延遲不超過1分鐘
圖10 MatrixDB 在物流網際網路服務商的應用案例
5、案例五:某省工廠大腦
2021年11⽉完成多條總裝⽣產線、裁切機和數控機床的接⼊以及安吉、越南兩套ERP系統和⼀套MES系統的全部資料清洗和標準化接⼊⼯作,實現了第⼀階段透明⼯⼚建設⽬標,22年全省推⼴。
圖11 MatrixDB 在某省工廠大腦的應用案例
6、案例六:某製藥企業
傳統的⼯業⼤資料“複雜”、“低效”,投⼊巨⼤產出甚微,使得很多⼯業企業談“⼤資料”⽽⾊變。基於MatrixDB的⼯業⼤資料平臺解決⼤資料複雜度問題,把“極簡”、“極速”留個客戶。
圖12 MatrixDB 在某製藥企業中的應用案例
7、案例七:某製造企業
某國際知名製造業企業通過收集⼯⼚的各種資料,分析影響成品率的主要因素,改進⽣產流程,降本增效,⼤幅提升利潤率。
圖13 MatrixDB 在某製造企業的應用案例
以上就是我今天的分享內容,謝謝大家!
更多精彩內容,歡迎大家觀看視訊回放與會議資料
視訊回放:https://www.modb.pro/video/6115
會議資料:https://www.modb.pro/doc/57017
- 檢視原文:https://www.modb.pro/db/337182
- 檢視【國產資料庫沙龍】往期生態工具、圖資料庫專場文章、視訊回放資源:https://www.modb.pro/topic/157860
墨天輪,圍繞資料人的學習成長提供一站式的全面服務,打造集新聞資訊、線上問答、活動直播、線上課程、文件閱覽、資源下載、知識分享及線上運維為一體的統一平臺,持續促進資料領域的知識傳播和技術創新。
關注官方公眾號: 墨天輪、 墨天輪平臺、墨天輪成長營、資料庫國產化 、資料庫資訊