Flink 流式計算框架(學習一)
阿新 • • 發佈:2018-11-12
開源流計算引擎,兼顧效能和可靠性。
Flink資料集型別
有邊資料集:最終不再發生改變
無邊資料集:不斷產生資料
Flink的兩種執行模型
a.流計算
資料不斷產生,一直處於計算狀態
b.批處理
完成一定時間段的計算任務後,釋放資源
Flink的特性
a.開源,分散式
b.結果精準,即使是無序資料或者延遲資料
c.有狀態以及容錯。維護精準一次的應用狀態(保持每次計算的結果,向後傳遞,實現累加。容錯:replace,計算錯誤後恢復)
d.可實現大規模計算,高吞吐、低延遲
f.通過檢查點機制實現精準一次的計算保證,在出現故障的時候可以體現
e.flink支援計算以及視窗化操作
g.flink支援靈活的基礎時間的視窗計算
h.flink容錯是輕量級的,資源佔用量少,保證零資料丟失
Flink流計算模型和有界資料集
a.有界資料集是無界資料集的一種特例
b.有界資料集在flink內部是以一種終態資料集進行計算
c.在flink中,有界和無界差距較小
d.使用同一套流計算執行引擎模型上的API操作兩種資料型別
Flink啟動
flink run -c ${classname} name.jar
預設埠
8081