hbase完全分散式環境搭建
HBase是一個分散式的、面向列的開源資料庫,該技術來源於Chang et al所撰寫的Google論文“Bigtable:一個結構化資料的分散式儲存系統”。就像Bigtable利用了Google檔案系統(File System)所提供的分散式資料儲存一樣,HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop專案的子專案。HBase不同於一般的關係資料庫,它是一個適合於非結構化資料儲存的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。
HBase – Hadoop Database,是一個高
HBase有三種模式:單機模式,偽分散式模式,完全分散式模式。下面介紹完全分散式安裝。
HBase安裝前需要安裝Hadoop,安裝Hadoop請參照:http://blog.csdn.net/chabale/article/details/8808109
HBase安裝步驟如下:
第一步:下載HBase包 tar -zxvf Hbase*.tar.gz 解壓HBase
第二步修改conf目錄下的配置檔案:
a)hbase-env.sh
修改內容:
#java安裝目錄
export JAVA_HOME=/usr/java/jdk1.6.0_24
#Hbase日誌目錄
export HBASE_LOG_DIR=/root/hadoop/hbase-0.94.6.1/logs
#如果使用HBase自帶的Zookeeper值設成true 如果使用自己安裝的Zookeeper需要將該值設為false
export HBASE_MANAGES_ZK=true
b)hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://master:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave,slave1</value>
</property>
</configuration>
hbase.rootdir指定Hbase資料儲存目錄
hbase.cluster.distributed 指定是否是完全分散式模式,單機模式和偽分散式模式需要將該值設為false
hbase.master指定Master的位置
hbase.zookeeper.quorum 指定zooke的叢集,多臺機器以逗號分隔
c)修改conf下的regionservers檔案
master
slave
slave1
d)再修改Hadoop hdfs-site.xml下的一個屬性值。(記得其他的datanode也要進行修改)
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
該引數限制了datanode所允許同時執行的傳送和接受任務的數量,預設為256,hadoop-defaults.xml中通常不設定這個引數。這個限制看來實際有些偏小,高 負載
e)拷貝hbase到所有的節點
tar zcvf hbase-0.92.1.tar.gz hbase-0.92.1
scp hbase-0.92.1.tar.gz [email protected]:~/
scp hdfs-site.xml [email protected]:~/
然後進行相應的解壓、替換即可。
其他datanode節點按照相同的操作即可。
f)啟動順序:先啟動Hadoop-》hbase,如果使用自己安裝的zookeeper啟動順序是:Hadoop-》zookeeper-》hbase
停止順序:hbase->zookeeper->hadoop
按照上面的順序啟動:
master主機上jps:
1145 SecondaryNameNode
1248 JobTracker
2025 Jps
1756 HMaster
1931 HRegionServer
965 NameNode
節點上jps:
1434 DataNode
1557 TaskTracker
1694 HQuorumPeer
1857 Jps
主機進到hbase的bin目錄
執行./hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.94.6.1, r1464658, Thu Apr 4 10:58:50 PDT 2013
hbase(main):001:0>
這就說明hbase已經成功安裝
相關推薦
hbase完全分散式環境搭建
HBase是一個分散式的、面向列的開源資料庫,該技術來源於Chang et al所撰寫的Google論文“Bigtable:一個結構化資料的分散式儲存系統”。就像Bigtable利用了Google檔案系統(File System)所提供的分散式資料儲
最詳細的Hadoop+Hbase+Hive完全分散式環境搭建教程(二)
繼續上次的教程,這次安裝hbase與hive 一、hbase2.1.1安裝 在master節點: $ tar -zxvf hbase-2.1.1-bin.tar.gz -C /opt $ cd /opt/hbase-2.1.1/conf/ $ vi hbase-
HBase HA完全分散式環境搭建
一 叢集部署架構介紹 Master節點一主一備,跟HadoopNameNode 保持一致,即HBase Master也把主從節點放在NameNode主從同一臺機器 RegionServer放在每一個對
手把手教你配置Hbase完全分散式環境
HBase配置相對比較簡單,下面的教程也是基於我上面2篇Hadoop配置的環境下繼續往下新增HBase的分散式配置,這次我的HBase安裝目錄放在跟Hadoop同一目錄下面,節點資訊跟我前一篇Hadoop完全分散式配置完全一樣,不清楚的話可以參考我那篇文章。 HBase根目錄:/usr/mywi
Hadoop從入門到精通系列之--3.完全分散式環境搭建
目錄 一 什麼是完全分散式 二 準備伺服器 三 叢集分發指令碼 3.1 scp(secure copy)安全拷貝 3.2 rsync遠端同步 3.3 叢集分發指令碼 四 叢集規劃 4.1 規劃思想 4.2 具體配置 4.3 ssh免密登陸 一 什麼
Hadoop系列之完全分散式環境搭建及測試驗證
前置條件: 已製作好CentOS 虛擬機器模板。 該模板安裝好Oracle JDK,且 JAVA_HOME 值為/usr/java/jdk1.8.0_171-amd64/jre。 準備三臺虛擬機器 搭建完全 Hadoop 分散式最少需要三臺伺服器,假設三臺伺服器
大資料環境搭建之Kafka完全分散式環境搭建步驟詳解
文章目錄 環境準備 解壓安裝 配置檔案 服務啟動 1、啟動分散式叢集的zookeeper 2、啟動Kafka服務 偽分散式搭建完畢之後,只要稍作修改就
大資料環境搭建之HBase偽分散式環境搭建步驟詳解
文章目錄 HBase簡介 環境準備 JDK1.8以上 HBase 1.2.6 安裝模式 安裝配置 解壓安裝包 配置檔案 hbase-env.
Hadoop2.7.4完全分散式環境搭建
軟體版本 虛擬機器管理軟體:VMware WorkStation Pro 12.0 作業系統:CentOS 6.7 Hadoop:Hadoop 2.7.4 JDK:jdk-8u65-linux-x64.tar.gz 一、環境準備 1、 修改各個節點主機名:vi /e
Spark之——Hadoop2.7.3+Spark2.1.0 完全分散式環境 搭建全過程
一、修改hosts檔案在主節點,就是第一臺主機的命令列下;vim /etc/hosts我的是三臺雲主機:在原檔案的基礎上加上;ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2其中的i
Hadoop完全分散式環境搭建
試驗環境: 1臺NameNode伺服器,2臺DataNode伺服器 安裝步驟: ①:配置/etc/hosts檔案:實現叢集內部的DNS解析,無需查詢DNS伺服器,當訪問遠端主機時首先查詢hosts檔案是否有配置,如果配置則直接按照指定的IP直接訪問遠端主機(
Hadoop2.8.1完全分散式環境搭建
前言 本文搭建了一個由三節點(master、slave1、slave2)構成的Hadoop完全分散式叢集(區別單節點偽分散式叢集),並通過Hadoop分散式計算的一個示例測試叢集的正確性。 本文叢集三個節點基於三臺虛擬機器進行搭建,節點安裝的作業系統為Centos7(yum源),Hadoop版本選取為2.8
Hadoop 2.6.4 完全分散式環境搭建
一、安裝linux 環境 OS Linux:CentOS 6.6 64bit 記憶體 1.5-2GB 硬碟 15-20GB 二、安裝JDK 及修改hostname 1、修改hostname [[email protected] ~]# vi /etc/s
HBase完全分散式叢集環境搭建過程總結
一、前言 暑期實驗室實習學姐告知學習HBase,便利用複習之餘的時間搭建HBase環境,先前不瞭解搞了個單機版的,學姐說實驗室開發不用單機2333[尷尬],於是又開始建立虛擬機器開始完全分散式叢集環境的搭建。搭建主要是各種百度,也遇到了一些bug,也來來回回刪增了
Hadoop搭建完全分散式環境
在搭建叢集中,常見的錯誤 1)格式化 首先要記住,不要頻繁的格式化namenode, 如果非要格式化namenode,先刪除tmp目錄中的內容 ,清空之前,最好把所有的程序jps 中的殘存的服務關掉,如果不關閉的話會存在遺留的程序,就有可能佔用之前的埠號。 2)埠可能被佔用 3)避免多使
搭建HBase完全分散式
在搭建zookeeper叢集模式基礎上搭建的。(點選該藍色超連結,可以依次找到相關Hadoop以及zookeeper叢集的搭建。) 1、下載hbase壓縮包 2、上傳到linux中(使用了遠端連線軟體mobaxterm)。 3、解壓。 $ tar -zxvf hbase-1.
hadoop+zookeeper+yarn搭建高可用完全分散式環境詳細步驟
一、zookeeper叢集的安裝。 (我親自成功搭建過的一套叢集,涉及到很多的細節,但是有的細節地方我不一定能完全寫出,如果有遇到問題的可以留言) 前提準備3臺centos7.0虛擬機器 (1)首先設定每臺虛擬機器的網路連線方式為net方式,然後修改每臺虛
[虛擬機器VM][Ubuntu12.04]搭建Hadoop完全分散式環境(一)
前言 大家都知道,Hadoop的部署方式可分為 單機模式 偽分散式 完全分散式 本篇主要講解的就是完全分散式。 搭建完全分散式的叢集環境,需要多臺的硬體裝置,作為初學者,為了搭建叢集去買多臺電腦,多少有點不現實,所以這裡我採用的是VM虛擬機器,模擬搭
在Centos叢集上搭建Storm完全分散式環境
一、環境準備叢集:三臺linux伺服器,系統不限寫部落格三臺伺服器的zookeeper已安裝並處於執行階段三臺伺服器的jdk1.8環境已安裝,如沒有,請參考我的部落格叢集環境如下:#OShostnameipsoftwarenotes1centosmaster192.168.0
HBase篇--搭建HBase完全分散式叢集
一.前述。 完全分散式基於hadoop叢集和Zookeeper叢集。所以在搭建之前保證hadoop叢集和Zookeeper叢集可用。可參考本人部落格地址 二.叢集規劃。 說明:因為HMaster主