引言

接著上一篇Hadoop叢集搭建，繼續搭建ZooKeeper和HBase叢集。

ZooKeeper搭建

安裝

去官網下載stable版本（在Master伺服器上）

cd /usr/localhost
sudo wget http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
sudo tar zxf zookeeper-3.4.9.tar.gz
sudo mv zookeeper-3.4.9 zookeeper
sudo chown hadoop.hadoop zookeeper -R

配置

配置環境變數

sudo vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:/usr/local/zookeeper/bin

在命令列輸入. /etc/profile並回車使其生效

到zookeeper配置目錄，把zoo_sample.cfg重新命名，並配置

cd zookeeper/conf
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
dataDir=/usr/local/zookeeper/tmp
server.1=Slave1:2888:3888
server.2=Slave2
 
:2888:3888
server.3=Slave3:2888:3888

把已配置好的zookeeper複製到三臺Slave伺服器上，具體可以參照上一篇中有關打包hadoop目錄，傳送給三臺Slave伺服器操作。

分別在三臺Slave伺服器/usr/local/zookeeper/tmp目錄下，新建檔案myid，然後分別寫入1、2、3，如Slave1伺服器上，如下操作（zoo.cfg中server對應的id）

cd /usr/local/zookeeper/tmp
echo 1 > myid

在三臺Slave伺服器上開啟zookeeper服務

zkServer.sh start

在命令列使用jps命令後，會發現多出了個QuorumPeerMain

[[email protected] lib]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

[hadoop@Slave2 conf]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader

[[email protected] lib]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

HBase叢集搭建

安裝

去官網下載stable版本（在Master伺服器上）

cd /usr/localhost
sudo wget http://apache.fayea.com/hbase/1.2.3/hbase-1.2.3-bin.tar.gz
sudo tar zxf hbase-1.2.3-bin.tar.gz
sudo mv hbase-1.2.3-bin.tar.gz hbase
sudo chown hadoop.hadoop hbase -R

配置

/etc/profile

export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:/usr/local/hbase/bin

在命令列輸入. /etc/profile並回車使其生效

regionservers

Slave1
Slave2
Slave3

hbase-env.sh

export JAVA_HOME='/usr/lib/jvm/java-1.8.0-openjdk.x86_64'
# 因為上面已經部署獨立的ZooKeeper，所以可以不用HBase自帶的ZooKeeper
export HBASE_MANAGES_ZK=false

hbase-site.xml

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://Master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>Slave1,Slave2,Slave3</value>
    </property>
    <property>
    <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper/tmp</value>
    </property>
</configuration>

把已配置好的hbase複製到三臺Slave伺服器上，具體可以參照上一篇中有關打包hadoop目錄，傳送給三臺Slave伺服器操作。

開啟hbase服務

start-hbase.sh

分表在四臺伺服器上執行jps命令

[hadoop@Master bin]$ jps
6929 ResourceManager
6769 SecondaryNameNode
14553 HMaster
6572 NameNode
14669 Jps
7214 JobHistoryServer

[hadoop@Slave1 lib]$ jps
7743 Jps
7635 HRegionServer
17312 DataNode
17581 QuorumPeerMain
17426 NodeManager

[hadoop@Slave2 lib]$ jps
4866 NodeManager
4755 DataNode
9220 Jps
9110 HRegionServer
5032 QuorumPeerMain

[hadoop@Slave3 Asia]$ jps
6785 Jps
6675 HRegionServer
2421 DataNode
2669 QuorumPeerMain
2526 NodeManager

遇到的坑

Master伺服器上HMaster程序啟動後不就就沒了，其他三臺Slave伺服器上的HRegionServer也沒有了，解決方法，同步時間，四臺伺服器時間一致；還是沒有HMaster程序，把hbase-site.xml中的hbase.rootdir的Master改為IP

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://10.254.21.30:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>Slave1,Slave2,Slave3</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper/tmp</value>
    </property>
</configuration>

若還是不成，把/usr/local/hbase/lib中的hadoop-*.jar刪除，把hadoop中的jar包放入，再啟動

find /usr/local/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} .

參考資料