HBase分散式叢集搭建(Hbase內建zookeeper) 粗略筆記
hbase和hadoop一樣也分為單機版、偽分散式版和完全分散式叢集版本。 這裡記錄分散式叢集搭建(注:沒有安裝獨立的zookeeper,使用了hbase自帶的zookeeper。)
1.準備好壓縮包,配置環境
基於hadoop版本是hadoop2.5.x,hbase使用1.2.6 scp hbase-1.2.6-bin.tar.gz [email protected]:~/tmp
配置.bash_profile環境(每個節點都要配)
export JAVA_HOME=/home/hadoop/env/jdk1.7.0_80
export CLASSPATH=.: $JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/home/hadoop/env/hadoop-2.5.0
export HBASE_HOME=/home/hadoop/env/hbase-1.2.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PATH
source一下
2.配置hbase(主master節點配置)
配置hbase-env.sh
export JAVA_HOME=/home/hadoop /env/jdk1.7.0_80
export HBASE_CLASSPATH=/home/hadoop/env/hbase-1.2.6/conf
此配置資訊,設定由hbase自己管理zookeeper,不需要單獨的zookeeper。
export HBASE_MANAGES_ZK=true
export HBASE_HOME=/home/hadoop/env/hbase-1.2.6/
export HADOOP_HOME=/home/hadoop/env/hadoop-2.5.0
Hbase日誌目錄
export HBASE_LOG_DIR=/home/hadoop/data/hbase/log
配置 hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>master:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
</configuration>
配置regionservers
master
slave1
slave2
3.拷貝到各個從節點
scp -r hbase-1.2.6/ hadoop@slave1:~/env
scp -r hbase-1.2.6/ hadoop@slave2:~/env
4.啟動hbase
在主節點Master啟動hbase
~/hbase/bin/start-hbase.sh
啟動後,各個節點程序情況
Master
15558 NameNode # hadoop master程序
15815 ResourceManager # hadoop程序
17012 Jps
16505 HRegionServer
16376 HMaster # hbase master程序
16283 HQuorumPeer # zookeeper程序
Slave1
14289 NodeManager
14568 HRegionServer # hbase slave程序
14461 HQuorumPeer # zookeeper程序
15010 Jps
14128 DataNode # hadoop slave程序
14219 SecondaryNameNode
Slave2
7654 NodeManager
8273 Jps
7827 HQuorumPeer
7557 DataNode
7934 HRegionServer
HQuorumPeer表示hbase管理的zookeeper QuorumPeerMain表示zookeeper獨立的程序
5.頁面端檢視
6.啟動順序
如果安裝了獨立的zookeeper
啟動順序: hadoop-> zookeeper-> hbase 停止順序:hbase-> zookeeper-> hadoop
使用自帶的zookeeper
啟動順序: hadoop-> hbase 停止順序:hbase-> hadoop
重啟hbase
~/hbase/bin/stop-hbase.sh
~/hadoop/sbin/stop-all.sh
~/hadoop/sbin/start-all.sh
~/hbase/bin/start-hbase.sh
注意事項:
1.如果各個節點時間不一致,會導致啟動hbase之後,從節點的HRegionServer會很快退出。 虛擬機器會出現時間靜止,所以每次要同步時間
ntpdate ntp1.aliyun.com
2.把/etc/hosts的ipv6 localhost註釋掉127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.30.100 master
172.16.30.101 slave1
172.16.30.102 slave2