spark streaming、flink和storm區別淺析

阿新 • • 發佈：2019-05-24

1. 介紹

這三個計算框架常常被拿來比較。從我的角度來看，三者的比較可以分為兩類(mini-batches vs. streaming)。spark streaming屬於微批量的偽流式準實時計算框架(spark本身屬於批處理框架)。而flink和storm則作為典型的實時流處理框架。

2. spark vs flink

兩者雖然有很多設計實現思路上比較接近以及互相學習，但是主要區別還是mini-batch和streaming的選擇上。根據實際場景在吞吐量和實時性上做權衡。

3. flink vs storm

名稱	批處理	資料處理保證	api level	容錯機制
storm	不支援	at least once(實現採用record-level acknowledgments)，Trident可以支援storm 提供exactly once語義	low	record-level acknowledgments
flink	支援	exactly once（實現採用Chandy-Lamport 演算法，即marker-checkpoint ）	high	marker-checkpoint

4. 其他資料

5. 總結

我寫的比較簡略。強烈建議看看下面我羅列的參考資料，都寫的很不錯。

參考資料：

spark streaming、flink和storm區別淺析

1. 介紹這三個計算框架常常被拿來比較。從我的角度來看，三者的比較可以分為兩類(mini-batches vs. strea

JavaScript中const、var和let區別淺析

在JavaScript中有三種宣告變數的方式：var、let、const。下文給大家介紹js中三種定義變數的方式const， var， let的區別。 1.const定義的變數不可以修改，而且必須初始化。 ? 1 2 3 4 5 const

Spark Streaming，Flink，Storm，Kafka Streams，Samza：如何選擇流處理框架

![](https://img2020.cnblogs.com/blog/1089984/202006/1089984-20200610080225004-690722209.png) 根據最新的統計顯示，僅在過去的兩年中，當今世界上90％的資料都是在新產生的，每天建立2.5萬億位元組的資料，並且隨著新裝

Spark Streaming、Storm、Flink對比分析，以及為什麼選擇Flink作為流處理框架

隨著大資料技術的不斷髮展和成熟，無論是傳統企業還是網際網路公司都已經不再滿足於離線批處理，實時流處理的需求和重要性日益增長。17年底公司就著力打造實時計算平臺，探索實時流計算引擎和 API，例如這幾年火爆的 Storm、Spark Streaming、Kafka

Spark RDD、DataFrame和DataSet的區別

RDD 優點: 編譯時型別安全編譯時就能檢查出型別錯誤面向物件的程式設計風格直接通過類名點的方式來操作資料缺點: 序列化和反序列化的效能開銷無論是叢集間的通訊, 還是IO操作都需要對物件的結構和資料進行序列化和反序列化. G

動手實戰聯合使用Spark Streaming、Broadcast、Accumulator計數器實現線上黑名單過濾和計數

本博文主要包括： 1、Spark Streaming與Broadcast、Accumulator聯合 2、線上黑名單過濾和計數實戰一、Spark Streaming與Broadcast、Accumulator聯合：在企業實戰中，廣播本身廣播到叢集的時

JS中const、var和let區別

方法 pre 命令 con 使用它的 comm 作用影響在JavaScript中有三種聲明變量的方式：var、let、const。 1.const 聲明創建一個只讀的常量。這不意味著常量指向的值不可變，而是變量標識符的值只能賦值一次，必須初始化。 const b

pageContext、request、session和application區別

一個斷網發出可能使用 -s size ssi attr pageContext，request，session，application是指變量（對象）的生命周期，它們都可以通過setAttribute()和getAttribute()來設定或讀取屬性。 pageCo

wmain 、_tmain()和main()區別

語言 dos 16bit 函數 argv clu main 找到 ron _tmain()是unicode版本的的main() _tmain這個符號多見於VC++創建的控制臺工程中，這個是為了保證移植unicode而加入的（一般_t、_T、T()這些東西都和unico

HSSF、XSSF和SXSSF區別以及Excel導出優化

基本 per springmvc linu cell exce 功能 pch 臨時文件　　之前有寫過運用POI的HSSF方式導出數據到Excel（見：springMVC中使用POI方式導出excel至客戶端、服務器實例），但這種方式當數據量大到一定程度時容易出現內存溢出等

makefile中=、：=和+=的區別

有感分析 eight c語言區別 all ont 總結 mil 經常有人分不清= 、：=和+=的區別這裏我總結下做下詳細的分析：首先你得清楚makefile的運行環境，因為我是linux系統，那麽我得運行環境是shell 在Linux的shell裏，shell

類成員函數的重載、覆蓋和隱藏區別？

c/c++1.重載是指允許存在多個同名函數，而這些函數的參數表不同（或許參數個數不同，或許參數類型不同，或許兩者都不同）。實現原理上：編譯器根據函數不同的參數表，對同名函數的名稱做修飾，然後這些同名函數就成了不同的函數（至少對於編譯器來說是這樣的）。如，有兩個同名函數：function func(p:inte

HashMap、TreeMap、Hashtable、HashSet和ConcurrentHashMap區別

擴展性 navig shc .net ica fin details blank table 一、HashMap和TreeMap區別 1、HashMap是基於散列表實現的，時間復雜度平均能達到O(1)。 TreeMap基於紅黑樹（一種自平衡二叉查找樹）實現的，時

CommonJS、AMD和CMD區別

環境 add 編程 style script webp git 加載模塊 AS 本文參考自：https://www.cnblogs.com/chenguangliang/p/5856701.html 1、CommonJS NodeJS是CommonJS規範的實現，web

epoch、 iteration和batchsize區別

大小 tails 集中 tps bsp 樣本一次 size sdn 轉自: https://blog.csdn.net/qq_27923041/article/details/74927398 深度學習中經常看到epoch、 iteration和batchsize，下面按

聯機分析處理ROLAP、MOLAP和HOLAP區別(轉)

BE 屬性工具 rolap oss 數據裏的目標銷售 OLAP(on-Line Analysis Processing)是使分析人員、管理人員或執行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數據的更深入了解的一類軟件技術。OLAP的目標是滿足決策支

CSS的position之absolute、fixed和relative區別

abs 當前 splay body left position borde ati aud 首先，我們應了解position的默認值——static static 默認值，沒有定位，元素出現在正常的流中，即忽略 top, bottom, left, right 或者 z-

PAAS、IAAS和SAAS區別

時間每天應用娛樂應用設計辦公分類平臺一個 IaaS: Infrastructure-as-a-Service(基礎設施即服務) 有了IaaS，你可以將硬件外包到別的地方去。IaaS公司會提供場外服務器，存儲和網絡硬件，你可以租用。節省了維護成本和辦

spring定時器使用註解@Scheduled執行任務，fixedDelay、fixedRate和cron區別

註解@Scheduled 可以作為一個觸發源新增到一個方法中，例如，以下的方法將以一個固定延遲時間5秒鐘呼叫一次執行，這個週期是以上一個呼叫任務的完成時間為基準，在上一個任務完成之後，5s後再次執行：

Application、Session和Cookie區別

1.Application物件 Application用於儲存所有使用者的公共的資料資訊,如果使用Application物件,一個需要考慮的問題是任何寫操作都要在Application_OnStart事件(global.asax)中完成.儘

spark streaming、flink和storm區別淺析

1. 介紹

2. spark vs flink

3. flink vs storm

4. 其他資料

5. 總結

相關推薦