1. 程式人生 > >Data Lake Analytics-數據分析時代迎來新變革

Data Lake Analytics-數據分析時代迎來新變革

data lake 提升 數據存儲 img ali 都是 同時 對象 無需

摘要: 近期阿裏雲重磅推出新的數據分析引擎Data Lake Analytics,Data Lake Analytics是Serverless化的交互式聯邦查詢服務。無需ETL,使用標準SQL即可分析與集成對象存儲(OSS)、數據庫

? 前言
近期阿裏雲重磅推出新的數據分析引擎Data Lake Analytics,Data Lake Analytics是Serverless化的交互式聯邦查詢服務。無需ETL,使用標準SQL即可分析與集成對象存儲(OSS)、數據庫(PostgreSQL/MySQL/SQL Server等)、NoSQL(TableStore等)數據源的數據。本文將重點剖析Data Lake Analytics的出現,給傳統數據分析帶來了哪些變革。

技術分享圖片

? 極大的降低運行成本
傳統解決方案裏,做數據分析,需要先購買一些分析節點實例(計算和存儲一體化),無論是計算還是存儲任何一方先到達瓶頸,都要線性的擴服務器資源,分析任務空閑的時候,計算資源的成本依舊需要承擔。Data Lake Analytics是基於Serverless架構的數據分析引擎,意味著客戶使用分析服務無需購買或者管理服務器,升級透明,Data Lake Analytics基於ECS輕松做到彈性伸縮服務。能讓業務真正做到按需擴存儲,按使用量付費分析,不分析只需要擁有存儲成本,整個方案成本極低。
? 數據分析架構更加靈活
無論是自建Hadoop、開源的Greenplum等方案,存儲和計算成本都是一體化的。選擇了這些大數據分析技術後,存儲和計算的方案都是固化的。而Data Lake Analytics的出現,則打破了這一架構局限性,使得數據分析方案更加靈活。客戶可以選擇將海量的KV查詢的數據存儲TableStore中,Data Lake Analytics可以告訴的查詢處理TableStore中的數據。可以將業務流水數據存儲在關系型數據庫(MySQL、SQL Server、PostgreSQL)中,Data Lake Analytics可以對上述數據存儲就地分析,賦予了上述數據庫復雜的查詢能力。用戶可以將日誌或者歸檔數據存儲在OSS中,使用Data Lake Analytics快速的分析處理OSS中的數據。在對於雲上中小企業來說,可以結合業務的特點選擇最廉價的存儲搭配最普惠靈活的的分析能力,同時Data Lake Analytics還可以很好的將上述眾多數據源做聯邦查詢。

? ETL搬數據時代結束
以往數據分析,需要將各路數據源(關系型數據庫、日誌、NoSQL等),按照天或者小時級別做抽取,匯總到數據倉庫中做數據關聯處理。Data Lake Analytics設計之初天然具有聯邦分析能力,使得客戶的數據不再需要搬遷至數據倉庫匯總分析,而是就地分析。同時還能很好的跨異構數據源做關聯分析、回流至關系型數據庫或者OLAP引擎。
? 分析時效性大幅提升
傳統數倉,無論是H+1 還是T+1方案,由於數據同步周期長,架構鏈路長,導致時效性很差。Data Lake Analytics的多數據源聯邦查詢處理能力,避免了數據搬遷的同時,大大提升了數據處理的時效性,同時由於縮短了采集、存儲、計算的鏈路,方案運行更加穩定。

? 總結
傳統數據分析的抽取-裝載-轉換-回流的架構支撐了數據倉庫多年的發展,而Data Lake Analytics的出現,給傳統數據分析架構帶來革新的同時,也賦予了雲上目前OSS、TableStore、關系型數據庫(PostgreSQL/MySQL/SQL Server等)存儲強大的OLAP分析能力。對於雲上中小企業來說,可以選擇用最廉價、最適合業務場景的存儲,來搭配最普惠靈活的的分析能力。阿裏雲Data Lake Analytics正是最普惠靈活的分析能力的實踐者,目前公測期間免費試用,歡迎大家前來體驗。

原文鏈接

本文為雲棲社區原創內容,未經允許不得轉載。

Data Lake Analytics-數據分析時代迎來新變革