更新一篇知識星球裡面的原始碼分析文章，去年寫的，週末自己錄了個視訊，大家看下效果好嗎？如果好的話，後面補錄發在知識星球裡面的其他原始碼解析文章。

前言

之前自己本地 clone 了 Flink 的原始碼，編譯過，然後 share 到了 GitHub 上去了，自己也寫了一些原始碼的中文註釋，並且 push 到了 GitHub 上去了。這幾天阿里開源了宣傳已久的 Blink，結果我那個分支不能夠繼續 pull 下新的程式碼，再加上自己對 Flink 研究了也有點時間了，所以打算將這兩個東西對比著來看，這樣可能會學到不少更多東西，因為 Blink 是另外一個分支，所以自己乾脆再重新 fork 了一份，拉到本地來看原始碼。

fork

執行下面命令：

git clone [email protected]:apache/flink.git

拉取的時候找個網路好點的地方，這樣速度可能會更快點。

編譯

因為自己想看下 Blink 分支的程式碼，所以需要切換到 blink 分支來，

git checkout blink

這樣你就到了 blink 分支了，接下來我們將 blink 原始碼編譯一下，執行如下命令：

mvn clean install -Dmaven.test.skip=true -Dhadoop.version=2.7.6 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true
 

maven 編譯的時候跳過測試程式碼、javadoc 和程式碼風格檢查，這樣可以減少不少時間。

注意：你的 maven 的 settings.xml 檔案的 mirror 新增下面這個：(這樣下載依賴才能飛起來)

<mirror>
  <id>nexus-aliyun</id>
  <mirrorOf>*,!jeecg,!jeecg-snapshots,!mapr-releases</mirrorOf>
  <name>Nexus aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

<mirror>
  <id>mapr-public</id>
  <mirrorOf>mapr-releases</mirrorOf>
  <name>mapr-releases</name>
  <url>https://maven.aliyun.com/repository/mapr-public</url>
</mirror>
 

執行完這個命令後，然後呢，你可以掏出手機，開啟微信，搜尋下微訊號：zhisheng_tian , 然後點選一波新增好友，歡迎來探討技術。

等了一波時間之後，你可能會遇到這個問題(看到不少童鞋都遇到這個問題，之前編譯 Flink 的時候也遇到過)：

[ERROR] Failed to execute goal on project flink-mapr-fs: Could not resolve dependencies for project com.alibaba.blink:flink-mapr-fs:jar:1.5.1: Failure to find com.mapr.hadoop:maprfs:jar:5.2.1-mapr in http://maven.aliyun.com/nexus/content/groups/public was cached in the local repository, resolution will not be reattempted until the update interval of nexus-aliyun has elapsed or updates are forced -> [Help 1]

如果你試了兩遍都沒編譯通過，那麼我這裡就教大家一種方法（執行完編譯命令後啥也沒動就 OK 的請跳過，誰叫你運氣這麼好呢）：

在 flink-filesystems 中把 flink-mapr-fs module 給註釋掉。

上圖這是我給大家的忠告，特別管用。

再次執行命令編譯起來就沒有錯誤了，如果你還有其他的錯誤，我猜估計還是網路的問題，導致一些國外的 maven 依賴下載不下來或者不完整，導致的錯誤，暴力的方法就是和我一樣，把這些下載不下來的依賴 module 註釋掉，或者你可以像已經編譯好的童鞋要下 maven 的 .m2 檔案裡面已經下載好了的依賴，然後複製貼上到你的本地路徑去，注意路徑包名不要弄錯了，這樣一般可以解決所有的問題了，如果還有問題，我也無能為力了。

編譯成功就長下圖這樣：

執行

然後我們的目錄是長這樣的：

標記的那個就是我們的可執行檔案，就跟我們在 Flink 官網下載的一樣，我們可以將它執行起來看下效果。

我把它移到了 /usr/local/blink-1.5.1 下了，個人習慣，喜歡把一些安裝的軟體安裝在 /usr/local/ 目錄下面。

目錄結構和我以前的安裝介紹文章類似，就是多了 batch_conf 目錄，和 conf 目錄是一樣的東西，不知道為啥要弄兩個配置檔案目錄，問過負責的人，沒理我，哈哈哈。

那麼我們接下來就是執行下 Blink，進入到 bin 目錄，執行可執行檔案：

./start-cluster.sh

windows 可以點選 start-cluster.bat 啟動，這點對 windows 使用者比較友好。

執行完後命令後，在瀏覽器裡訪問地址，http://localhost:8081/ , 出現下圖這樣就代表 Blink 成功啟動了：

上圖是開源版本的白色主題，騷氣的黑色主題通過在 Flink 群裡得知如何改之後，編譯執行後的效果如下：

一次好奇的執行了多次上面啟動命令，發現也能夠正常的執行。

然後啟動的日誌是這樣的：

說明已經啟動了 9 個 Task Manager，然後看到我們頁面的監控資訊如下：

可以看到監控資訊裡面已經有 40 個可用的 slot，這是因為 Blink 預設的是一個 Task Manager 4 個 slot，我們總共啟動了 10 個 Task Manager，所以才會有 40 個可用的 slot，注意：Flink 預設的配置是 1 個 Task Manager 只含有 1 個 slot，不過這個是可以自己分配的。

注意：開啟了多個 Task Manager 後，要關閉的話，得執行同樣次數的關閉命令：

./stop-cluster.sh

中文原始碼分析

https://github.com/zhisheng17/flink

配套視訊解析

視訊錄製過程難免說錯，還請大家可以指教

相關

更多原始碼解析的文章和 Flink 資料請加知識星球！

本文地址是：http://www.54tianzhisheng.cn/2019/01/30/Flink-code-compile/，未經允許，禁止轉載！

總結

本篇文章是《從1到100深入學習Flink》的第一篇，zhisheng 我帶帶大家一起如何 clone 專案原始碼，進行原始碼編譯，然後執行編譯後的可執行檔案 blink。下篇文章會分析專案原始碼的結構組成。

部落格

1、Flink 從0到1學習 —— Apache Flink 介紹

2、Flink 從0到1學習 —— Mac 上搭建 Flink 1.6.0 環境並構建執行簡單程式入門

3、Flink 從0到1學習 —— Flink 配置檔案詳解

4、Flink 從0到1學習 —— Data Source 介紹

5、Flink 從0到1學習 —— 如何自定義 Data Source ？

6、Flink 從0到1學習 —— Data Sink 介紹

7、Flink 從0到1學習 —— 如何自定義 Data Sink ？

8、Flink 從0到1學習 —— Flink Data transformation(轉換)

9、Flink 從0到1學習 —— 介紹 Flink 中的 Stream Windows

10、Flink 從0到1學習 —— Flink 中的幾種 Time 詳解

11、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 ElasticSearch

12、Flink 從0到1學習 —— Flink 專案如何執行？

13、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 Kafka

14、Flink 從0到1學習 —— Flink JobManager 高可用性配置

15、Flink 從0到1學習 —— Flink parallelism 和 Slot 介紹

16、Flink 從0到1學習 —— Flink 讀取 Kafka 資料批量寫入到 MySQL

17、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 RabbitMQ

18、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 HBase

19、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 HDFS

20、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 Redis

21、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 Cassandra

22、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 Flume

23、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 InfluxDB

24、Flink 從0到1學習 —— Flink 讀取 Kafka 資料寫入到 RocketMQ

25、Flink 從0到1學習 —— 你上傳的 jar 包藏到哪裡去了

26、Flink 從0到1學習 —— 你的 Flink job 日誌跑到哪裡去了

27、阿里巴巴開源的 Blink 實時計算框架真香

28、Flink 從0到1學習 —— Flink 中如何管理配置？

29、Flink 從0到1學習—— Flink 不可以連續 Split(分流)？

30、Flink 從0到1學習—— 分享四本 Flink 國外的書和二十多篇 Paper 論文

31、Flink 架構、原理與部署測試

32、為什麼說流處理即未來？

33、OPPO 資料中臺之基石：基於 Flink SQL 構建實時資料倉庫

34、流計算框架 Flink 與 Storm 的效能對比

35、Flink狀態管理和容錯機制介紹

36、Apache Flink 結合 Kafka 構建端到端的 Exactly-Once 處理

37、360深度實踐：Flink與Storm協議級對比

38、如何基於Flink+TensorFlow打造實時智慧異常檢測平臺？只看這一篇就夠了

39、Apache Flink 1.9 重大特性提前解讀

40、Flink 全網最全資源（視訊、部落格、PPT、入門、實戰、原始碼解析、問答等持續更新）

41、Flink 靈魂兩百問，這誰頂得住？

原始碼解析

1、Flink 原始碼解析 —— 原始碼編譯執行

2、Flink 原始碼解析 —— 專案結構一覽

3、Flink 原始碼解析—— local 模式啟動流程

4、Flink 原始碼解析 —— standalone session 模式啟動流程

5、Flink 原始碼解析 —— Standalone Session Cluster 啟動流程深度分析之 Job Manager 啟動

6、Flink 原始碼解析 —— Standalone Session Cluster 啟動流程深度分析之 Task Manager 啟動

7、Flink 原始碼解析 —— 分析 Batch WordCount 程式的執行過程

8、Flink 原始碼解析 —— 分析 Streaming WordCount 程式的執行過程

9、Flink 原始碼解析 —— 如何獲取 JobGraph？

10、Flink 原始碼解析 —— 如何獲取 StreamGraph？

11、Flink 原始碼解析 —— Flink JobManager 有什麼作用？

12、Flink 原始碼解析 —— Flink TaskManager 有什麼作用？

13、Flink 原始碼解析 —— JobManager 處理 SubmitJob 的過程

14、Flink 原始碼解析 —— TaskManager 處理 SubmitJob 的過程

15、Flink 原始碼解析 —— 深度解析 Flink Checkpoint 機制

16、Flink 原始碼解析 —— 深度解析 Flink 序列化機制

17、Flink 原始碼解析 —— 深度解析 Flink 是如何管理好記憶體的？

18、Flink Metrics 原始碼解析 —— Flink-metrics-core

19、Flink Metrics 原始碼解析 —— Flink-metrics-datadog

20、Flink Metrics 原始碼解析 —— Flink-metrics-dropwizard

21、Flink Metrics 原始碼解析 —— Flink-metrics-graphite

22、Flink Metrics 原始碼解析 —— Flink-metrics-influxdb

23、Flink Metrics 原始碼解析 —— Flink-metrics-jmx

24、Flink Metrics 原始碼解析 —— Flink-metrics-slf4j

25、Flink Metrics 原始碼解析 —— Flink-metrics-statsd

26、Flink Metrics 原始碼解析 —— Flink-metrics-prometheus

26、Flink Annotations 原始碼解析

27、Flink 原始碼解析 —— 如何獲取 ExecutionGraph ？

28、大資料重磅炸彈——實時計算框架 Flink

29、Flink Checkpoint-輕量級分散式快照

30、Flink Clients 原始碼解析原文出處：zhisheng的部落格，歡迎關注我的公眾號：zhish