1. 程式人生 > 其它 >Flink1.13.2版本 Standalone 模式部署

Flink1.13.2版本 Standalone 模式部署

Flink的部署有3種模式,分別是local模式、Standalone模式、yarn模式。其中local就是單機模式,一般來說用於本地開發測試;Standalone跟yarn模式都可以支撐叢集部署、實現HA,但是兩者在任務分配機制、記憶體管理等內容上有比較大的差異。一般在處理計算資料量級非常大的生產環境,使用flink on yarn的模式更多一些。

我們的Standalone模式部署目標:共有3臺機器,其中1臺配置為Master+Worker,2臺配置為Worker。

本次安裝的是目前的最新版本(1.13.2,2021年9月),下載地址:Apache Flink: 下載。目標機器為centos7,均已安裝好了java1.8環境。


——172.18.88.44(master+worker);

——172.18.88.45(worker);

——172.18.88.46(worker);

1、將下載的flink安裝包copy到44上,解壓縮:

tar -xzf flink-1.13.2-bin-scala_2.11.tgz(題外話:此時如果作為local模式的話,直接執行 ./bin/start-cluster.sh 即可啟動flink服務了)

2、進入解壓縮出來的flink/conf目錄,修改flink-conf.yaml中的jobmanager地址為44(預設為localhost):

jobmanager.rpc.address: 172.18.88.44(記憶體設定也在這個配置檔案裡,這裡暫時不改,以後有需要再修改,有興趣的可以看這篇帖子有詳細介紹:

Flink調優之前,必須先看懂的TaskManager記憶體模型 - 知乎 (zhihu.com)

3、修改master檔案,將master指定為44(預設為localhost:8081)

4、修改workers檔案,將3個worker的IP配置上:

5、在45、46兩臺機器上同樣解壓縮安裝包,並將44上的這3個配置檔案copy到45、46上。注意:45、46的flink位置要與44上的位置保持一致。

6、正常情況下,在44上的flink目錄下執行./bin/start-cluster.sh,即可啟動叢集了。

7、由於這3臺機器沒有配置ssh免登,會出現啟動服務時,需要輸入45、46兩臺機器密碼的情況,不方便。為此,請配置ssh免登,參考

centos7下配置免密碼登入 - zouminglan - 部落格園 (cnblogs.com)

8、可通過master所在機器地址檢視執行狀態:172.18.88.44:8081

9、HA配置略。