ZooKeeper 、HBase叢集搭建
引言
接著上一篇Hadoop叢集搭建,繼續搭建ZooKeeper和HBase叢集。
ZooKeeper搭建
安裝
去官網下載stable版本(在Master伺服器上)
cd /usr/localhost
sudo wget http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
sudo tar zxf zookeeper-3.4.9.tar.gz
sudo mv zookeeper-3.4.9 zookeeper
sudo chown hadoop.hadoop zookeeper -R
配置
配置環境變數
sudo vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:/usr/local/zookeeper/bin
在命令列輸入. /etc/profile
並回車使其生效
到zookeeper配置目錄,把zoo_sample.cfg
重新命名,並配置
cd zookeeper/conf
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
dataDir=/usr/local/zookeeper/tmp
server.1=Slave1:2888:3888
server.2=Slave2 :2888:3888
server.3=Slave3:2888:3888
把已配置好的zookeeper複製到三臺Slave伺服器上,具體可以參照上一篇中有關打包hadoop目錄,傳送給三臺Slave伺服器
操作。
分別在三臺Slave伺服器/usr/local/zookeeper/tmp
目錄下,新建檔案myid,然後分別寫入1、2、3,如Slave1伺服器上,如下操作(zoo.cfg中server對應的id)
cd /usr/local/zookeeper/tmp
echo 1 > myid
在三臺Slave伺服器上開啟zookeeper服務
zkServer.sh start
在命令列使用jps命令後,會發現多出了個QuorumPeerMain
[[email protected] lib]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[hadoop@Slave2 conf]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader
[[email protected] lib]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
HBase叢集搭建
安裝
去官網下載stable版本(在Master伺服器上)
cd /usr/localhost
sudo wget http://apache.fayea.com/hbase/1.2.3/hbase-1.2.3-bin.tar.gz
sudo tar zxf hbase-1.2.3-bin.tar.gz
sudo mv hbase-1.2.3-bin.tar.gz hbase
sudo chown hadoop.hadoop hbase -R
配置
/etc/profile
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:/usr/local/hbase/bin
在命令列輸入. /etc/profile
並回車使其生效
regionservers
Slave1
Slave2
Slave3
hbase-env.sh
export JAVA_HOME='/usr/lib/jvm/java-1.8.0-openjdk.x86_64'
# 因為上面已經部署獨立的ZooKeeper,所以可以不用HBase自帶的ZooKeeper
export HBASE_MANAGES_ZK=false
hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://Master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>Slave1,Slave2,Slave3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/zookeeper/tmp</value>
</property>
</configuration>
把已配置好的hbase複製到三臺Slave伺服器上,具體可以參照上一篇中有關打包hadoop目錄,傳送給三臺Slave伺服器
操作。
開啟hbase服務
start-hbase.sh
分表在四臺伺服器上執行jps命令
[hadoop@Master bin]$ jps
6929 ResourceManager
6769 SecondaryNameNode
14553 HMaster
6572 NameNode
14669 Jps
7214 JobHistoryServer
[hadoop@Slave1 lib]$ jps
7743 Jps
7635 HRegionServer
17312 DataNode
17581 QuorumPeerMain
17426 NodeManager
[hadoop@Slave2 lib]$ jps
4866 NodeManager
4755 DataNode
9220 Jps
9110 HRegionServer
5032 QuorumPeerMain
[hadoop@Slave3 Asia]$ jps
6785 Jps
6675 HRegionServer
2421 DataNode
2669 QuorumPeerMain
2526 NodeManager
遇到的坑
Master伺服器上HMaster程序啟動後不就就沒了,其他三臺Slave伺服器上的HRegionServer也沒有了,解決方法,同步時間,四臺伺服器時間一致;還是沒有HMaster程序,把hbase-site.xml
中的hbase.rootdir
的Master
改為IP
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://10.254.21.30:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>Slave1,Slave2,Slave3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/zookeeper/tmp</value>
</property>
</configuration>
若還是不成,把/usr/local/hbase/lib
中的hadoop-*.jar刪除,把hadoop中的jar包放入,再啟動
find /usr/local/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} .