Hbase 配置

本教程配置說明

• 本教程是在64位Centos6.5 Hadoop2.2.0 完全分佈安裝教程基礎之上擴充套件的（言下之意就是配置都沒變！）
• 每檯安裝有hadoop-2.2.0的Linux伺服器均需安裝Hbase和Zookeeper
• 每臺伺服器若無特殊說明，預設均在hadoop使用者下操作
• 確保防火牆關閉，確保各個伺服器的/etc/hosts 檔案中含有叢集下所有伺服器各自IP和主機名，例如：
  10.10.108.160 name
  10.10.108.170 data1
  10.10.108.180 data2
• 確保各個datanode節點的伺服器與namenode節點伺服器相互之間能ssh免密碼登陸
• 確保各個伺服器的jdk環境配置無誤
• 確保各個伺服器的hadoop-2.2.0安裝成功

1. 下載安裝hbase 和 zookeeper安裝包

本教程使用版本是：
* hbase-0.98.9-hadoop2-bin.tar
* zookeeper-3.4.6.tar

2. 統一各個伺服器時間

在每個伺服器上鍵入時間，以namenode為準也行

date -s "2014-1-4 12:16:00"

時間根據實際調整

hwclock --systohc
service ntpd start
chkconfig ntpd on

3. 配置zookeeper + hbase 的環境變數

在namenode和所有的datanode上進行環境配置。根據使用者zookeeper + hbase實際安裝位置進行配置。本教程將hbase-0.98.9-hadoop2-bin.tar 和 zookeeper-3.4.6.tar 放至/home/hadoop/softwares目錄下，並將zookeeper + hbase解壓縮在主使用者下，即 ~/ 絕對路徑則為 /home/hadoop/
解壓縮程式碼：

tar -zxvf /home/hadoop/softwares/hbase-0.98.9-hadoop2-bin.tar  /home/hadoop/
tar -zxvf /home/hadoop/softwares/zookeeper-
 
3.4.6.tar  /home/hadoop/

編輯/etc/profile 檔案，在檔案末尾新增:

export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
export HBASE_HOME=/home/hadoop/hbase-0.98.9-hadoop2
export PATH=$PATH:$HBASE_HOME/bin

使環境變數立即生效：

source /etc/profile

4. zookeeper配置

在namenode節點上操作

cp /home/hadoop/zookeeper-3.4.6/conf/zoo_sample.cfg   /home/hadoop/zookeeper-3.4.6/conf/zoo.cfg

配置 zoo.cfg

vi zoo.cfg

修改如下：

tickTime=2000    
dataDir=/home/hadoop/zookeeper-3.4.6/data    
clientPort=2181    
initLimit=5    
syncLimit=2    
server.1=name:2888:3888
server.2=data2:2888:3888

建立data目錄：

mkdir /home/hadoop/zookeeper-3.4.6/data    

編輯myid檔案：

vim /home/hadoop/zookeeper-3.4.6/data/myid

新增本機的zookeeper的id號

1

5. 將配置好的zookeeper檔案copy到datanode主機裡

scp -r  /home/hadoop/zookeeper-3.4.6/  hadoop@data2:~/

6. 修改各slave主機myid

每個datanode僅僅需要修改myid即可，且互不相重複。在datanode節點上，如本教程中的data2主機上修改myid

vim /home/hadoop/zookeeper-3.4.6/data/myid

編輯myid檔案：

2

7. Hbase配置

A. 進入conf目錄下進行配置，並編輯hbase-env.sh

/home/hadoop/hbase-0.98.9-hadoop2/conf
vi hbase-env.sh

新增如下：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64
export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
export HBASE_LOG_DIR=/home/hadoop/hbase-0.98.9-hadoop2/logs
export HBASE_MANAGES_ZK=true

• 其中JAVA_HOME 和 HADOOP_HOME根據實際情況進行配置
• HBASE_MANAGES_ZK=true 含義為 hbase託管zookeeper修改

B. 編輯 hbase-site.xml
注意：接下來的配置均在兩個 configuration 之間新增完成的，如下圖所示:

vi hbase-site.xml

新增如下內容：

<property>
    <name>hbase.rootdir</name>
    <value>hdfs://name:8020/hbase</value>
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
    <name>hbase.master</name>
    <value>master:60000</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>name,data2</value>
</property>
<property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hadoop/zookeeper-3.4.6/data</value>
</property>
<property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
</property>
<property>
    <name>hbase.regionserver.handler.count</name>
    <value>10</value>
</property>
<property>
    <name>zookeeper.session.timeout</name>
    <value>120000</value>
</property>
<property>
    <name>hbase.regionserver.restart.on.zk.expire</name>
    <value>true</value>
</property>

• name:8020 其中8020為hadoop配置裡core-site.xml檔案中hdfs的埠號

C. 編輯 regionservers

vi regionservers

新增所有datanode節點的主機名或IP地址

data2

D. 替換jar包
注意：為了相容Hadoop-2.2.0，需要將hbase的lib包中的內容lib包中的hadoop-common-2.1.0-beta.jar替換成/hadoop-2.2.0/share/hadoop/common目錄下的hadoop-common-2.2.0.jar。

rm /home/hadoop/hbase-0.98.9-hadoop2/lib/hadoop-common-2.1.0-beta.jar 
cp /home/hadoop/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar  /home/hadoop/hbase-0.98.9-hadoop2/lib/

E. 移除hbase裡面的不必要jar包

mv /home/hadoop/hbase-0.98.9-hadoop2/lib/slf4j-log4j12-1.6.4.jar  /home/hadoop/hbase-0.98.9-hadoop2/lib/slf4j-log4j12-1.6.4.jar.bk

8. 將配置好的hbase檔案copy到所有的datanode主機裡

scp -r /home/hadoop/hbase-0.98.9-hadoop2  hadoop@data2:~/

9. 執行Hbase

在namenode主機上執行：
A. 先啟動hadoop

start-dfs.sh
start-yarn.sh

B. 再啟動hbase

start-hbase.sh

如能看到以下程序，安裝基本OK了：
在namenode上看到的程序：

即新增程序：
HQuorumPeer
HMaster

在datanode上看到的程序

即新增程序：
HQuorumPeer
HRegionServer

C. 在namenode節點上的瀏覽器上輸入hbase管理地址

http://localhost:60010/

可以看到各個節點上hbase的分佈執行情況

D. 關閉hbse(拓展)

stop-hbase.sh

10. hbase 基本測試

A. 進入hbase命令列

hbase shell

B. 建立一個表,具有三個列族member_id 、address、info

create 'member','member_id','address','info'

C. 檢視當前HBase中具有哪些表

list

D. 查看錶的構造

describe 'member' 

E. 刪除列族member_id

drop 'member'

F. 退出shell命令列

exit 

只要上述操作無報錯，那麼恭喜你，安裝成功！