spark-project專案的zookeeper配置
安裝ZooKeeper
1、將zookeeper-3.4.5-cdh5.3.6.tar.gz使用WinSCP拷貝到sparkproject1的/usr/local目錄下。
2、對zookeeper-3.4.5-cdh5.3.6.tar.gz進行解壓縮:tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz。
3、對zookeeper目錄進行重新命名:mv zookeeper-3.4.5-cdh5.3.6 zk。
4、配置zookeeper相關的環境變數
vi ~/.bashrc
export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$ZOOKEEPER_HOME/bin
source ~/.bashrc
配置zoo.cfg
cd zk/conf mv zoo_sample.cfg zoo.cfg vi zoo.cfg 修改:dataDir=/usr/local/zk/data 新增: server.0=sparkproject1:2888:3888 server.1=sparkproject2:2888:3888 server.2=sparkproject3:2888:3888 |
設定zk節點標識
cd zk
mkdir data
cd data
vi myid //這個myid檔案內容是叢集中各個節點的標識,必須是數字,到後續應該對每臺機器依次修改
0
搭建zk叢集
1、在另外兩個節點上按照上述步驟配置ZooKeeper,使用scp將zk和.bashrc拷貝到spark2和spark3上即可。
2、唯一的區別是spark2和spark3的標識號myid分別設定為1和2。
啟動ZooKeeper叢集
1、分別在三臺機器上執行:zkServer.sh start。
2、檢查ZooKeeper狀態:zkServer.sh status,應該是一個leader,兩個follower
3、jps:檢查三個節點是否都有QuromPeerMain程序。