1. 程式人生 > >效率提升50倍,輕鬆處理大資料

效率提升50倍,輕鬆處理大資料

日前,阿里雲宣佈流計算(Aliyun StreamCompute,Powered by Blink)正式釋出商業化版本。阿里雲流計算是執行在阿里雲平臺上的流式大資料分析平臺,提供給使用者在雲上進行流式資料實時化分析工具,實現對網站資料、工業化資料、物聯網資料等各種場合進行實時的資料監控、分析和處理。1528611762571-c3b0d305-5ac8-48c5-b669-8e流計算典型架構

解決痛點

阿里雲流計算可以提供BlinkSQL協助使用者簡單輕鬆完成流式計算邏輯的處理。同時,受限於SQL程式碼功能有限無法滿足某些特定場景的業務需求,阿里雲流計算提供全功能的UDF函式,幫助使用者完成業務定製化的資料處理邏輯。在流資料分析領域使用者直接使用BlinkSQL+UDF即可完成大部分流式資料分析處理邏輯,目前的流計算更擅長於做流式資料分析、統計、處理。主要解決了使用者的三大痛點: 1.流式資料的及時性 資料的業務價值隨著時間的流失而迅速降低,因此在資料發生後必須儘快對其進行計算和處理。而傳統的大資料處理模式對於資料加工均遵循傳統日清日畢模式,即以小時甚至以天為計算週期對當前資料進行累計並處理,顯然這類處理方式無法滿足資料實時計算的需求。在諸如實時大資料分析、風控預警、實時預測、金融交易等諸多業務場景領域,批量(或者說離線)處理對於上述對於資料處理時延要求苛刻的應用領域而言是完全無法勝任其業務需求的。而流計算作為一類針對流資料的實時計算模型,可有效地縮短全鏈路資料流時延、實時化計算邏輯、平攤計算成本,最終有效滿足實時處理大資料的業務需求。 2.一站式的流式資料處理 不同於開源或者自建的流式處理服務,阿里雲流計算是完全託管的流式計算引擎,阿里雲可針對流資料執行查詢,無需預置或管理任何基礎設施,使用者可以享受一鍵啟用的流式資料服務能力。阿里雲流計算天然整合資料開發、資料運維、監控預警等服務,方便使用者最小成本試用和遷移流式計算產品。 3.SQL化的流式分析 支援標準SQL(產品名稱為:BlinkSQL),提供內建的字串處理、時間、統計等各類計算函式,替換業界低效且複雜的Flink開發,讓更多的BI人員、運營人員通過簡單的BlinkSQL可以完成實時化大資料分析和處理,讓實時大資料處理普適化、平民化。 同時,實現實時的資料監控/分析。比如BI人員可以看到自己網站實時的訪客資料變化,購買情況,交易額波動等,不需要一段時間後才能做統計和分析。之前150人/月的工作,現在只需3個人/月就可以輕鬆解決,效率提升了50倍。

應用場景

流計算擅長解決的幾個領域的應用場景包括,實時的網路點選PV、UV統計;統計交通卡口的平均5分鐘通過車流量;水利大壩的壓力資料統計和展現;網路支付涉及金融盜竊固定行為規則的告警等。特別適合BI人員、大資料開發人員等使用者。 據瞭解,阿里雲流計算脫胎於阿里集團內部雙十一實時大屏業務,歷經長期摸索和發展,將阿里集團本身沉澱多年的流計算產品、架構、業務能夠以雲產品的方式對外提供服務,使用者可以完全享受到阿里集團最新最前沿的計算引擎能力,業務上可規避阿里集團多年在流式大資料的試錯和教訓,更快、更輕鬆地實時化大資料處理流程,助力業務發展。

原文連結

日前,阿里雲宣佈流計算(Aliyun StreamCompute,Powered by Blink)正式釋出商業化版本。阿里雲流計算是執行在阿里雲平臺上的流式大資料分析平臺,提供給使用者在雲上進行流式資料實時化分析工具,實現對網站資料、工業化資料、物聯網資料等各種場合進行實時的資料監控、分析和處理。

1528611762571-c3b0d305-5ac8-48c5-b669-8e流計算典型架構

解決痛點

阿里雲流計算可以提供BlinkSQL協助使用者簡單輕鬆完成流式計算邏輯的處理。同時,受限於SQL程式碼功能有限無法滿足某些特定場景的業務需求,阿里雲流計算提供全功能的UDF函式,幫助使用者完成業務定製化的資料處理邏輯。在流資料分析領域使用者直接使用BlinkSQL+UDF即可完成大部分流式資料分析處理邏輯,目前的流計算更擅長於做流式資料分析、統計、處理。主要解決了使用者的三大痛點: 1.流式資料的及時性 資料的業務價值隨著時間的流失而迅速降低,因此在資料發生後必須儘快對其進行計算和處理。而傳統的大資料處理模式對於資料加工均遵循傳統日清日畢模式,即以小時甚至以天為計算週期對當前資料進行累計並處理,顯然這類處理方式無法滿足資料實時計算的需求。在諸如實時大資料分析、風控預警、實時預測、金融交易等諸多業務場景領域,批量(或者說離線)處理對於上述對於資料處理時延要求苛刻的應用領域而言是完全無法勝任其業務需求的。而流計算作為一類針對流資料的實時計算模型,可有效地縮短全鏈路資料流時延、實時化計算邏輯、平攤計算成本,最終有效滿足實時處理大資料的業務需求。 2.一站式的流式資料處理 不同於開源或者自建的流式處理服務,阿里雲流計算是完全託管的流式計算引擎,阿里雲可針對流資料執行查詢,無需預置或管理任何基礎設施,使用者可以享受一鍵啟用的流式資料服務能力。阿里雲流計算天然整合資料開發、資料運維、監控預警等服務,方便使用者最小成本試用和遷移流式計算產品。 3.SQL化的流式分析 支援標準SQL(產品名稱為:BlinkSQL),提供內建的字串處理、時間、統計等各類計算函式,替換業界低效且複雜的Flink開發,讓更多的BI人員、運營人員通過簡單的BlinkSQL可以完成實時化大資料分析和處理,讓實時大資料處理普適化、平民化。 同時,實現實時的資料監控/分析。比如BI人員可以看到自己網站實時的訪客資料變化,購買情況,交易額波動等,不需要一段時間後才能做統計和分析。之前150人/月的工作,現在只需3個人/月就可以輕鬆解決,效率提升了50倍。

應用場景

流計算擅長解決的幾個領域的應用場景包括,實時的網路點選PV、UV統計;統計交通卡口的平均5分鐘通過車流量;水利大壩的壓力資料統計和展現;網路支付涉及金融盜竊固定行為規則的告警等。特別適合BI人員、大資料開發人員等使用者。 據瞭解,阿里雲流計算脫胎於阿里集團內部雙十一實時大屏業務,歷經長期摸索和發展,將阿里集團本身沉澱多年的流計算產品、架構、業務能夠以雲產品的方式對外提供服務,使用者可以完全享受到阿里集團最新最前沿的計算引擎能力,業務上可規避阿里集團多年在流式大資料的試錯和教訓,更快、更輕鬆地實時化大資料處理流程,助力業務發展。