1. 程式人生 > >ZooKeeper 、HBase叢集搭建

ZooKeeper 、HBase叢集搭建

引言

接著上一篇Hadoop叢集搭建,繼續搭建ZooKeeper和HBase叢集。

ZooKeeper搭建

安裝

官網下載stable版本(在Master伺服器上)

cd /usr/localhost
sudo wget http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
sudo tar zxf zookeeper-3.4.9.tar.gz
sudo mv zookeeper-3.4.9 zookeeper
sudo chown hadoop.hadoop zookeeper -R

配置

配置環境變數

sudo vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:/usr/local/zookeeper/bin

在命令列輸入. /etc/profile並回車使其生效

到zookeeper配置目錄,把zoo_sample.cfg重新命名,並配置

cd zookeeper/conf
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
dataDir=/usr/local/zookeeper/tmp
server.1=Slave1:2888:3888
server.2=Slave2
:2888:3888 server.3=Slave3:2888:3888

把已配置好的zookeeper複製到三臺Slave伺服器上,具體可以參照上一篇中有關打包hadoop目錄,傳送給三臺Slave伺服器操作。

分別在三臺Slave伺服器/usr/local/zookeeper/tmp目錄下,新建檔案myid,然後分別寫入1、2、3,如Slave1伺服器上,如下操作(zoo.cfg中server對應的id)

cd /usr/local/zookeeper/tmp
echo 1 > myid

三臺Slave伺服器上開啟zookeeper服務

zkServer.sh start

在命令列使用jps命令後,會發現多出了個QuorumPeerMain

程序,檢視zookeeper狀態,會發現兩個follow一個leader

[[email protected] lib]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[hadoop@Slave2 conf]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader
[[email protected] lib]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

HBase叢集搭建

安裝

官網下載stable版本(在Master伺服器上)

cd /usr/localhost
sudo wget http://apache.fayea.com/hbase/1.2.3/hbase-1.2.3-bin.tar.gz
sudo tar zxf hbase-1.2.3-bin.tar.gz
sudo mv hbase-1.2.3-bin.tar.gz hbase
sudo chown hadoop.hadoop hbase -R

配置

/etc/profile

export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:/usr/local/hbase/bin

在命令列輸入. /etc/profile並回車使其生效

regionservers

Slave1
Slave2
Slave3

hbase-env.sh

export JAVA_HOME='/usr/lib/jvm/java-1.8.0-openjdk.x86_64'
# 因為上面已經部署獨立的ZooKeeper,所以可以不用HBase自帶的ZooKeeper
export HBASE_MANAGES_ZK=false

hbase-site.xml

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://Master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>Slave1,Slave2,Slave3</value>
    </property>
    <property>
    <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper/tmp</value>
    </property>
</configuration>

把已配置好的hbase複製到三臺Slave伺服器上,具體可以參照上一篇中有關打包hadoop目錄,傳送給三臺Slave伺服器操作。

開啟hbase服務

start-hbase.sh

分表在四臺伺服器上執行jps命令

[hadoop@Master bin]$ jps
6929 ResourceManager
6769 SecondaryNameNode
14553 HMaster
6572 NameNode
14669 Jps
7214 JobHistoryServer
[hadoop@Slave1 lib]$ jps
7743 Jps
7635 HRegionServer
17312 DataNode
17581 QuorumPeerMain
17426 NodeManager
[hadoop@Slave2 lib]$ jps
4866 NodeManager
4755 DataNode
9220 Jps
9110 HRegionServer
5032 QuorumPeerMain
[hadoop@Slave3 Asia]$ jps
6785 Jps
6675 HRegionServer
2421 DataNode
2669 QuorumPeerMain
2526 NodeManager

遇到的坑

Master伺服器上HMaster程序啟動後不就就沒了,其他三臺Slave伺服器上的HRegionServer也沒有了,解決方法,同步時間,四臺伺服器時間一致;還是沒有HMaster程序,把hbase-site.xml中的hbase.rootdirMaster改為IP

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://10.254.21.30:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>Slave1,Slave2,Slave3</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper/tmp</value>
    </property>
</configuration>

若還是不成,把/usr/local/hbase/lib中的hadoop-*.jar刪除,把hadoop中的jar包放入,再啟動

find /usr/local/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} .

參考資料