HBase單節點的安裝以及shell操作
阿新 • • 發佈：2018-12-17
概覽
1.HBase簡介 2.上傳解壓 3.修改配置檔案 4.啟動 5.進入客戶端進行shell操作
1.HBase簡介
HBase – Hadoop Database，是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化儲存叢集。
HBase是一個分散式的、面向列的開源資料庫，該技術來源於 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化資料的分散式儲存系統”。就像Bigtable利用了Google檔案系統（File System）所提供的分散式資料儲存一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop專案的子專案。HBase不同於一般的關係資料庫，它是一個適合於非結構化資料儲存的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。
與FUJITSU Cliq等商用大資料產品不同，HBase是Google Bigtable的開源實現，類似Google Bigtable利用GFS作為其檔案儲存系統，HBase利用Hadoop HDFS作為其檔案儲存系統；Google執行MapReduce來處理Bigtable中的海量資料，HBase同樣利用Hadoop MapReduce來處理HBase中的海量資料；Google Bigtable利用Chubby作為協同服務，HBase利用Zookeeper作為對應。
2.上傳解壓
使用Xshell工具(官網下載免費版本即可)連線虛擬機器
在usr下建立一個hbase資料夾作為壓縮包存放路徑和安裝路徑
[[email protected] ~]# cd /usr/ [[email protected] usr]# ls bin etc games hadoop hive include java lib lib64 libexec local sbin share sqoop src tmp zookeeper [[email protected] usr]# mkdir hbase [[email protected] usr]# ls bin etc games hadoop hbase hive include java lib lib64 libexec local sbin share sqoop src tmp zookeeper
利用Xftp將hive的壓縮包上傳到hive資料夾下
[[email protected] usr]# cd hbase
然後解壓
[[email protected] hbase]# tar -zxf hbase-2.0.0-bin.tar.gz
3.修改配置檔案
進入到hbase安裝目錄下的conf資料夾下修改配置檔案
3.1 .hbase-env.sh
[[email protected] conf]# ls
hadoop-metrics2-hbase.properties hbase-env.cmd hbase-env.sh hbase-policy.xml hbase-site.xml log4j.properties regionservers
[[email protected] conf]# vim hbase-env.sh
在第28行左右找到這個
# The java implementation to use. Java 1.8+ required.
#這是我的jdk安裝路徑
export JAVA_HOME=/usr/java/jdk1.8.0_141
3.2 .hbase-site.xml
[[email protected] conf]# vim hbase-site.xml
在configuration中新增
<property>
<name>hbase.rootdir</name>
<value>file:///usr/hbase/data</value>
</property>
3.3 .profile環境變數
[[email protected] conf]# vim /etc/profile
在最後新增
export HBASE_HOME=/usr/hbase/hbase-2.0.0
export PATH=$PATH:$HBASE_HOME/bin
儲存退出,重新整理
[[email protected] conf]# source /etc/profile
4.啟動
首先確保你的hadoop啟動start-all.sh
如果沒有hadoop參考Hadoop單機版搭建
[[email protected] conf]# start-hbase.sh
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hbase/hbase-2.0.0/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/hadoop/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
running master, logging to /usr/hbase/hbase-2.0.0/logs/hbase-root-master-zhiyou.out
在瀏覽器檢視ip:16010(注意關閉防火牆systemctl stop firewalld(CentOS7.0))
5.進入客戶端進行shell操作
[[email protected] conf]# hbase shell
顯示hbase中的表
list
建立user表，包含info、data兩個列族
create 'user', 'info1', 'data1'
create 'user', {NAME => 'info', VERSIONS => 3}
向user表中插入資訊，row key為rk0001，列族info中新增name列標示符，值為zhangsan
put 'user', 'rk0001', 'info:name', 'zhangsan'
向user表中插入資訊，row key為rk0001，列族info中新增gender列標示符，值為female
put 'user', 'rk0001', 'info:gender', 'female'
向user表中插入資訊，row key為rk0001，列族info中新增age列標示符，值為20
put 'user', 'rk0001', 'info:age', 20
向user表中插入資訊，row key為rk0001，列族data中新增pic列標示符，值為picture
put 'user', 'rk0001', 'data:pic', 'picture'
獲取user表中row key為rk0001的所有資訊
get 'user', 'rk0001'
獲取user表中row key為rk0001，info列族的所有資訊
get 'user', 'rk0001', 'info'
獲取user表中row key為rk0001，info列族的name、age列標示符的資訊
get 'user', 'rk0001', 'info:name', 'info:age'
獲取user表中row key為rk0001，info、data列族的資訊
get 'user', 'rk0001', 'info', 'data'
get 'user', 'rk0001', {COLUMN => ['info', 'data']}
get 'user', 'rk0001', {COLUMN => ['info:name', 'data:pic']}
獲取user表中row key為rk0001，列族為info，版本號最新5個的資訊
get 'people', 'rk0002', {COLUMN => 'info', VERSIONS => 2}
get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5}
get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5, TIMERANGE => [1392368783980, 1392380169184]}
獲取user表中row key為rk0001，列標示符中含有a的資訊
get 'people', 'rk0001', {FILTER => "(QualifierFilter(=,'substring:a'))"}
put 'user', 'rk0002', 'info:name', 'fanbingbing'
put 'user', 'rk0002', 'info:gender', 'female'
put 'user', 'rk0002', 'info:nationality', '中國'
get 'user', 'rk0002', {FILTER => "ValueFilter(=, 'binary:中國')"}
查詢user表中的所有資訊
scan 'user'
查詢user表中列族為info的資訊
scan 'people', {COLUMNS => 'info'}
scan 'user', {COLUMNS => 'info', RAW => true, VERSIONS => 5}
scan 'persion', {COLUMNS => 'info', RAW => true, VERSIONS => 3}
查詢user表中列族為info和data的資訊
scan 'user', {COLUMNS => ['info', 'data']}
scan 'user', {COLUMNS => ['info:name', 'data:pic']}
查詢user表中列族為info、列標示符為name的資訊
scan 'user', {COLUMNS => 'info:name'}
查詢user表中列族為info、列標示符為name的資訊,並且版本最新的5個
scan 'user', {COLUMNS => 'info:name', VERSIONS => 5}
查詢user表中列族為info和data且列標示符中含有a字元的資訊
scan 'people', {COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}
查詢user表中列族為info，rk範圍是[rk0001, rk0003)的資料
scan 'people', {COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}
查詢user表中row key以rk字元開頭的
scan 'user',{FILTER=>"PrefixFilter('rk')"}
查詢user表中指定範圍的資料
scan 'user', {TIMERANGE => [1392368783980, 1392380169184]}
刪除資料
刪除user表row key為rk0001，列標示符為info:name的資料
delete 'people', 'rk0001', 'info:name'
刪除user表row key為rk0001，列標示符為info:name，timestamp為1392383705316的資料
delete 'user', 'rk0001', 'info:name', 1392383705316
清空user表中的資料
truncate 'people'
修改表結構
首先停用user表（新版本不用）
disable 'user'
新增兩個列族f1和f2
alter 'people', NAME => 'f1'
alter 'user', NAME => 'f2'
啟用表
enable 'user'
###disable 'user'(新版本不用)
刪除一個列族：
alter 'user', NAME => 'f1', METHOD => 'delete' 或 alter 'user', 'delete' => 'f1'
新增列族f1同時刪除列族f2
alter 'user', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}
將user表的f1列族版本號改為5
alter 'people', NAME => 'info', VERSIONS => 5
啟用表
enable 'user'
刪除表
disable 'user'
drop 'user'