1. 程式人生 > >Flink的安裝及案例

Flink的安裝及案例

Flink的安裝介紹
Flink有如下目錄
這裡寫圖片描述

進入到conf
這裡寫圖片描述

進入conf配置檔案目錄下,主要配置檔案維flink-conf.yaml和slaves

配置flink-conf.yaml解析如下:
- jobmanager.rpc.address: localhost1 –jobManager 的IP地址
- jobmanager.rpc.port: 6123 –jobManager 的埠,預設為6123
- jobmanager.heap.mb –jobManager 的JVM heap大小
- taskmanager.heap.mb –taskManager的jvm heap大小設定
- taskmanager.numberOfTaskSlots –taskManager中taskSlots個數,最好設定成work節點的CPU個數相等
- parallelism.default –平行計算數
- fs.default-scheme –檔案系統來源
- fs.hdfs.hadoopconf: –hdfs置檔案路徑
- jobmanager.web.port – jobmanager的頁面監控埠

記憶體管理配置
Flink預設上分配taskmanager.heap.mb配置值得70%留它管理,記憶體管理讓flink批量管理效果很高;並且flink不會出現OutMemoryException的問題,因為flink知道預留多少記憶體來執行程式;如果flink執行的程式所需要的記憶體超過了它所管理的記憶體,Flink就可以利用磁碟;總而言之,flink的記憶體管理提高了魯棒性和系統的速度;下面就介紹管理記憶體的配置檔案:

taskmanager.memory.fraction –管理記憶體的百分比,預設0.7
taskmanager.memory.size –taskManager具體管理記憶體的大小;此配置重taskmanager.memory.fraction的配置
taskmanager.memory.segment-size –記憶體管理器所使用的記憶體緩衝區的大小和網路堆疊位元組
taskmanager.memory.preallocate –taskmanager是否啟動時管理所有的記憶體

slaves
slaves中配置節點機器的ip或主機名

啟動flink
啟動前要把JDK 免密碼 配置好,防火牆關閉
啟動flink
下面的指令碼會在本地節點啟動一個 JobManager,然後通過 SSH 連線所有的worker節點(slaves檔案中所列的節點),並在每個節點上執行 TaskManager。現在你的 Flink 系統已經啟動並運行了。跑在本地節點上的 JobManager 現在會在配置的 RPC 埠上監聽並接收任務。
這裡寫圖片描述
web介面:localhost:8081
這裡寫圖片描述