三分鐘了解實時流式大數據分析
阿新 • • 發佈：2019-01-17
最大 想要 工作流 曲線 產生 blog 加速 當前 統計分析 三分鐘了解實時流式大數據分析
以上這幅圖是一個事件時間和執行時間的曲線。相對於事件時間，也就是事件發生的時間來說，執行時間也就數據處理時間有一個延遲。目前技術發展加速度不斷上升，人的耐心程度在下降，而大數據增速在不斷上升。所以實時流計算需要快速驅動業務，最大限度挖掘數據價值。
以上這幅圖就是時間和數據價值的曲線。我們可以看到距當下時間越近，每GB所產生的價值越高，幾乎是呈一個指數型的函數，因此大數據AI越實時越有價值。當前的開源流數據的框架許多包括APACHE STORM、Aakka、kafka等等，但是目前主流的框架主要是Apache Spark和Flink， 實時流計算服務，正是基於這兩種框架。
那麽實時流到底是什麽？實時流計算服務（Cloud Stream Service, 簡稱CS）提供實時處理流式大數據的全棧能力, 簡單易用, 即時執行Stream SQL或自定義作業。無需關心計算集群, 無需學習編程技能。完全兼容Apache Flink和Spark API。華為雲實時流計算服務主要提供如下功能：1.StreamingML ：提供多種流式機器學習方法對數據進行實時分析與預測，用戶僅需編寫SQL調用相關函數便可實現數據統計，異常檢測，實時聚類，時間序列分析等場景；2.地理位置分析：提供地理位置分析函數對地理空間數據進行實時分析，用戶僅需編寫SQL便可實現例如偏航檢測，電子圍欄等地理分析場景；3.CEP SQL：提供基於Match Recognize的模式匹配檢測，幫助業務人員使用SQL實現基於復雜事件規則的異常檢測業務。典型應用場景如欺詐檢測、車輛異常行為檢測、工業設備異常運行狀態檢測等；4.可視化：提供多種圖表類型實時展示作業數據輸出，用戶可以通過API網關服務自由訪問作業數據，接入自定義工作流中。應用場景包括易用、低時延、高吞吐的實時流分析；物聯網行業應用，即物聯網設備或邊緣設備，上傳數據到數據接入服務（DIS）或者其他雲存儲服務，CS直接從DIS讀取數據，實時分析數據流（故障檢測、數據清洗、統計分析、指標預警等等），實時把流分析結果持久化或推送告警通知等。
大家好，今天為大家介紹華為雲實時流計算服務CS，希望通過本次分享，大家能對華為雲實時流計算服務的服務能力和業務場景有所了解。
我們先了解一下實時流計算背景。下面列舉的是流數據普遍產生的四個方面：一、日誌；二、物聯網，也就是傳感器或者邊緣設備所產生的數據；三、車聯網，也就是車輛行駛過程中或者車載系統所產生的數據；四、StreamingML。流數據普遍產生，但並沒有充分產生價值。那麽什麽是實時流計算呢？實時流是指計算框架按事件逐條實時處理，one-by-one的數據流。計算，是指數學運算數據分析，算法模型執行等。實時流計算是指實時處理當下正在發生的流數據，逐條大數據分析或運行機器學習算法。
以上這幅圖是一個事件時間和執行時間的曲線。相對於事件時間，也就是事件發生的時間來說，執行時間也就數據處理時間有一個延遲。目前技術發展加速度不斷上升，人的耐心程度在下降，而大數據增速在不斷上升。所以實時流計算需要快速驅動業務，最大限度挖掘數據價值。
以上這幅圖就是時間和數據價值的曲線。我們可以看到距當下時間越近，每GB所產生的價值越高，幾乎是呈一個指數型的函數，因此大數據AI越實時越有價值。當前的開源流數據的框架許多包括APACHE STORM、Aakka、kafka等等，但是目前主流的框架主要是Apache Spark和Flink， 實時流計算服務，正是基於這兩種框架。
那麽實時流到底是什麽？實時流計算服務（Cloud Stream Service, 簡稱CS）提供實時處理流式大數據的全棧能力, 簡單易用, 即時執行Stream SQL或自定義作業。無需關心計算集群, 無需學習編程技能。完全兼容Apache Flink和Spark API。華為雲實時流計算服務主要提供如下功能：1.StreamingML ：提供多種流式機器學習方法對數據進行實時分析與預測，用戶僅需編寫SQL調用相關函數便可實現數據統計，異常檢測，實時聚類，時間序列分析等場景；2.地理位置分析：提供地理位置分析函數對地理空間數據進行實時分析，用戶僅需編寫SQL便可實現例如偏航檢測，電子圍欄等地理分析場景；3.CEP SQL：提供基於Match Recognize的模式匹配檢測，幫助業務人員使用SQL實現基於復雜事件規則的異常檢測業務。典型應用場景如欺詐檢測、車輛異常行為檢測、工業設備異常運行狀態檢測等；4.可視化：提供多種圖表類型實時展示作業數據輸出，用戶可以通過API網關服務自由訪問作業數據，接入自定義工作流中。應用場景包括易用、低時延、高吞吐的實時流分析；物聯網行業應用，即物聯網設備或邊緣設備，上傳數據到數據接入服務（DIS）或者其他雲存儲服務，CS直接從DIS讀取數據，實時分析數據流（故障檢測、數據清洗、統計分析、指標預警等等），實時把流分析結果持久化或推送告警通知等。
三分鐘了解實時流式大數據分析