Flink作為一個分散式的流處理框架正在發起新一代的大資料處理革命，其優勢選列如下：

1、Flink支援三個時間語義：事件時間、攝取時間和處理時間。
2、Flink可以保證一次性故障語義以及至少一次語義。
3、Flink具有非常好的加工效能。它可以實現毫秒延遲以及每個CPU核心高達一百萬個事件的吞吐量。Flink應用程式可以擴充套件到數千個核心。
4、Flink具有高級別的API，具有許多原語，例如高階視窗操作符，以及用於實現自定義操作符邏輯的低階介面。
5、Flink為許多廣泛使用的系統提供聯結器，如Apache Kafka，Apache Cassandra，Elasticsearch，JDBC，Kinesis和（分散式）檔案系統，如HDFS和S3。
6、Flink能夠以非常小的停機時間（無任何單點故障），與YARN和Apache Mesos的緊密整合，快速恢復故障以及動態擴充套件作業的能力。
7、Flink還允許更新作業的應用程式程式碼，並將作業遷移到不同版本的Flink群集，而不會丟失應用程式的狀態。系統和應用程式指標的詳細和可定製的收集有助於提前識別和應對問題。

     最後但並非最不重要的是，Flink也是一個完整的批量處理器。

  Flink是一個高吞吐低延遲的處理器，這體現在架構設計上的流暢和容災策略的彈性支援（使用者可以根據自己的業務特性選擇容災的粒度），本文簡單介紹Flnik的處理過程和一些關鍵技術的設計，觀點僅代表個人，不保證論述的正確性作者不是Flink的設計者和開源貢獻者，若有誤請聯絡本人刪改，感激不盡。

  首先我們來理解一個概念，分散式處理到底帶來了什麼好處？個人覺得最大的好處就是能增加系統的吞吐能力，然而這個是怎麼實現的呢？這裡有兩個並行的概念，一個是資料並行一個是任務並行。資料並行是說將流資料拆分為不同的資料塊，然後對資料塊進行相同的處理；任務並行是說將任務拆分成不同的子任務，每個子任務對不同的資料（可以是不同的資料來源）進行相同或不同的邏輯處理，這個就是任務並行。這裡面有個問題，是所有的資料都可以並行處理嗎？如果是有狀態的資料，比如說交易資料，如果我們將一個完整的請求資料拆分處理那麼我們是很難並行處理且保證其一致性的，如果是統計詞頻這種無狀態的資料我們大可以隨意拆分然後彙總即可。但是有狀態的資料我們也想並行處理怎麼辦？這裡引入一個數據交換策略的概念。Flink支援四種資料交換策略：

                 

   Flink的架構遵循許多分散式系統實現的主工作模式。在Flink中，主程序稱為JobManager 1，工作程序稱為TaskManager。Flink叢集由至少一個JobManager和一個或多個TaskManager組成。客戶端程序將應用程式提交到JobManager。每個程序在單獨的Java虛擬機器（JVM）中執行。

  Flink的架構遵循許多分散式系統實現的主工作模式。在Flink中，主程序稱為JobManager 1，工作程序稱為TaskManager。Flink叢集由至少一個JobManager和一個或多個TaskManager組成。客戶端程序將應用程式提交到JobManager。每個程序在單獨的Java虛擬機器（JVM）中執行。

  也就是說我們理論上支援所有資料的並行處理，只是拆分的粒度有大有小，這個就看使用者的業務場景了。我們明白了大資料處理並行的意義之後我們簡單描述一下Flink中大資料的處理過程，引入一個叫做資料流圖的概念，我個人理解為是一個數據處理單元，一個數據的有向流動圖。如下圖：沒有輸入端的叫做資料來源，資料來源下游是接收器，沒有輸出端的是資料卡槽，連結卡槽的是計算器。這就是一個完整的資料流。

        

  我們根據上圖來理解Flink的處理過程。輸入源項。我們都知道流處理跟批處理的一個最大的區別就是流處理是個持續性的輸入，批處理是有頭尾的資料段。Flink既支援持續性的輸入也支援批量的資料來源，我們可以從socket、kafka等來獲取持續的輸入也可以從txt、csv等獲取批量資料。

    資料通過網路或者IO傳進來之後我們要做的就是接收資料，這部分有幾個操作，首先我們要根據前面說的資料互動策略將資料進行拆分。舉個例子，我們通過keyby的方式去篩選我們關注的資料：

        DataStream<Trigger> triggerDataStream = env
                .addSource(new FlinkKafkaConsumer082<>(topic, new SimpleStringSchema(), properties))
                .filter(s -> {
                    try{
                        JSON.parseObject(s,Trigger.class);
                        return StringUtils.isEmpty(s)?false:true;
                    }catch (Exception e){
                        //----引數不合法
                        System.out.println("引數不合法===="+s);
                        return false;
                    }
                })
                .flatMap(new TriggerParse())
                .assignTimestampsAndWatermarks(new IngestionTimeExtractor<>())
                .keyBy(String.valueOf(new PromotionSelector()));

  注意低版本的keyBy需要傳入字串而高版本的可以傳入自定義的選擇器。在將流轉為keyDataStream之前我們可以進行引數的過濾和轉化，這裡就不詳述了。其中比較關鍵的操作是新增時間戳和水印。這牽扯到資料的並行和容災的實現。在Flink中會將子操作解析為一個子任務，每個子任務都會帶有時間戳。我們下面展開來講，首先要理解整個的任務拆分和執行的過程。

  Flink的架構遵循許多分散式系統實現的主工作模式。在Flink中，主程序稱為JobManager 1，工作程序稱為TaskManager。Flink叢集由至少一JobManager和一個或多個TaskManager組成。客戶端程序將應用程式提交到JobManager。每個程序在單獨的Java虛擬機器（JVM）中執行。

相關推薦