1. 程式人生 > 實用技巧 >Flink 從 0 到 1 學習之(10)Flink 專案如何執行?

Flink 從 0 到 1 學習之(10)Flink 專案如何執行?

前言

之前寫了不少 Flink 文章了,也有不少 demo,但是文章寫的時候都是在本地直接執行 Main 類的 main 方法,其實 Flink 是支援在 UI 上上傳 Flink Job 的 jar 包,然後執行得。

準備

編譯打包

我們在整個專案 (flink-learning)pom.xml 所在資料夾執行以下命令打包:

1
mvn clean install

然後你會發現在 flink-learning-connectors-es6 的 target 目錄下有 flink-learning-connectors-es6-1.0-SNAPSHOT.jar 。

啟動 ES

注意你的 Kafka 資料來源和 ES 都已經啟動好了, 清空了下 ES 目錄下的 data 資料,為了就是檢視是不是真的有資料存入進來了。

提交 jar 包

將此檔案提交到 Flinkserver 上,如下圖:

點選下圖紅框中的”Upload”按鈕:

如下圖,選中剛剛上傳的檔案,填寫類名,再點選”Submit”按鈕即可啟動 Job:

檢視執行結果

如下圖,在 Overview 頁面可見正在執行的任務:

你可以看到 Task Manager 中關於任務的 metric 資料
、日誌資訊以及 Stdout 資訊。

檢視 Kibana ,此時 ES 中已經有資料了:

我們可以在 flink ui 介面上的 overview cancel 這個 job,那麼可以看到 job 的日誌:

總結

本篇文章寫了下如何將我們的 job 編譯打包並提交到 Flink 自帶到 Server UI 上面去執行,也算是對前面文章的一個補充,當然了,Flink job 不僅支援這種模式的執行,它還可以執行在 K8s,Mesos,等上面,等以後我接觸到再寫寫。