1. 程式人生 > 其它 >2022.4.1學習成果

2022.4.1學習成果

解壓目錄說明:
bin 可執行指令碼
conf 配置檔案
data 示例程式使用資料
examples 示例程式
jars 依賴 jar 包
python pythonAPI
R R 語言 API
sbin 叢集管理命令
yarn 整合yarn需要的東西

 


Flink的使用
1)處理結果準確:無論是有序資料還是延遲到達的資料。
2)容錯機制:
有狀態:保持每次的結果往下傳遞,實現累加。DAG(有向無環圖)。
3)有很強大的吞吐量和低延遲。
計算速度快,吞吐量處理的量級大。
4)精準的維護一次的應用狀態。
storm:會發生要麼多計算一次,要麼漏計算。
5)支援大規模的計算
可以執行在數千臺節點上。
6)支援流處理和視窗化操作
7)版本化處理
8)檢查點機制實現精準的一次性計算保證
checkpoint
9)支援yarn與mesos資源管理器

flink單節點安裝部署
1)下載安裝包
https://archive.apache.org/dist/flink/flink-1.6.2/flink-1.6.2-bin-hadoop28-scala_2.11.tgz
2)上傳安裝包到/root下

3)解壓
cd /root
tar -zxvf flink-1.6.2-bin-hadoop28-scala_2.11.tgz -C hd

4)啟動
cd /root/hd/flink-1.6.2
bin/start-cluster.sh

5)啟動
cd /root/hd/flink-1.6.2
bin/stop-cluster.sh

6)訪問ui介面
http://192.168.146.132:8081

八、flink叢集安裝部署
1)下載安裝包
https://archive.apache.org/dist/flink/flink-1.6.2/flink-1.6.2-bin-hadoop28-scala_2.11.tgz
2)上傳安裝包到/root下

3)解壓
cd /root
tar -zxvf flink-1.6.2-bin-hadoop28-scala_2.11.tgz -C hd

4)修改配置檔案
vi flink-conf.yaml
第33行修改為:
jobmanager.rpc.address: hd09-1

5)修改slaves
vi slaves
hd09-2
hd09-3

6)分發flink到其他機器
cd /root/hd
scp -r flink-1.6.2/ hd09-2:$PWD
scp -r flink-1.6.2/ hd09-3:$PWD

7)啟動叢集
cd /root/hd/flink-1.6.2
bin/start-cluster.sh

8)關閉叢集
cd /root/hd/flink-1.6.2
bin/stop-cluster.sh

9)訪問ui介面
http://192.168.146.132:8081