「湖倉一體」釋放全量資料價值!巨杉資料庫亮相2022沙丘大會
近日,由數字化研究與知識服務平臺沙丘社群主辦的2022·沙丘大會以線上直播形式成功舉辦,沙丘大會是沙丘社群旗下以企業數字化實踐分享為核心的會議,大會圍繞各行業數字化轉型的通用問題,邀請業內具有豐富實踐經驗的專家,深度分享最佳實踐案例,共同為中國企業數字化轉型貢獻力量。巨杉資料庫首席架構師程祺受邀參加,並在湖倉一體專場進行了《湖倉一體釋放全量資料價值》的主題演講。
數字化轉型是發展數字經濟的必要途徑,資料庫作為數字化轉型重要的底層基礎軟體,在數字經濟中佔有不可或缺的地位。巨杉資料庫SequoiaDB從多模資料湖、實時資料湖發展到湖倉一體架構,為客戶提供資料核心所需的全量資料儲存,實時對客服務,及基於統一資料來源的分析能力,充分啟用客戶的離線資料,不斷提升企業人效和能效,持續為數字經濟發展助力。
本次分享,程祺詳細介紹了巨杉湖倉一體的多重特性、實踐經驗以及典型案例。他表示,在湖倉一體場景下,SequoiaDB可以提供包括流式計算、高效能列存分析引擎、跨引擎資料ACID一致性等能力,適用於需構建融合資料平臺及在保持事務一致性的基礎上,進行高效能實時分析的場景。通過巨杉資料庫可打破資料湖與資料倉庫割裂的體系,為上層應用提供一數一源的資料基礎設施,助力客戶實現提升資料管理水平、降低成本、提升運營效率、提升使用者體驗等目標。
同時,伴隨著企業級客戶對於多模資料處理、實時高併發、以及資料分析等業務需求,巨杉資料庫基於湖倉一體架構,進行了多個特性的創新:
- 面向結構化資料,巨杉提供深度的Join優化及列存微分割槽技術,在多個查詢場景下,效能達到了ms級實時返回;分析場景中,效能更獲得了10倍以上效能提升,讓查詢分析更實時。
- 面向非結構化資料,巨杉通過分片併發及可變分割槽大小的技術,吞吐量提升30%以上,讓資料湖的非結構化資料存取更實時。
- 運維管理工具方面,SAC在執行監控中提供了全GUI的效能及故障分析能力,SAC基於分散式架構的實時診斷,可實現業務問題分鐘級定位。
- 部署架構上,巨杉支援多配置硬體的混合部署,針對高併發資料與低併發資料,做到按需排程;面向橫跨結構化、非結構化資料,提供一體化的開發及管理能力,提升人效及能效,在成本可控的前提下,實現全量資料實時可用。
經過10年的發展,SequoiaDB基於湖倉一體架構,為金融、政企、能源、電信等多行業打造資料庫基礎設施,累計為過億民眾提供金融、出行、生活背後的資料平臺底座,積累了豐富的企業級分散式架構實踐經驗。已經正式生產上線的系統中最大執行叢集,資料量達1.4萬億行、容量達3PB、規模超過400臺伺服器,穩定生產執行巨杉資料庫時間最長的客戶長達8年。相比傳統基於Hadoop的大資料方案,巨杉資料庫提供完善的SQL能力,完整支援ACID,併發查詢效能高達100倍提升,通過湖倉一體架構為結構化、半結構化、非結構化資料提供一體化融合處理平臺,釋放全量資料價值。
目前,巨杉資料庫已在超過100家金融銀行客戶規模化上線使用,全面覆蓋國有銀行、股份制銀行、省級農信、城商行、保險、證券等金融客戶,使用者總數累計超過1000家。
巨杉資料庫在多年以前就開始致力於湖倉一體技術的研究和創新,具備分散式資料庫的前瞻發展理念與深厚的技術能力。未來,巨杉資料庫將持續深耕研磨湖倉一體分散式資料庫技術,輸出更多湖倉一體典型案例和優秀解決方案,為我國數字化經濟發展打造更加安全可靠的基礎設施底座。