1. 程式人生 > >hbase完全分散式環境搭建

hbase完全分散式環境搭建

             HBase是一個分散式的、面向列的開源資料庫,該技術來源於Chang et al所撰寫的Google論文“Bigtable:一個結構化資料的分散式儲存系統”。就像Bigtable利用了Google檔案系統(File System)所提供的分散式資料儲存一樣,HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop專案的子專案。HBase不同於一般的關係資料庫,它是一個適合於非結構化資料儲存的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。

             HBase – Hadoop Database,是一個高

可靠性、高效能、面向列、可伸縮的分散式儲存系統,利用HBase技術可在廉價PC Server上搭建起大規模結構儲存叢集。

             HBase有三種模式:單機模式,偽分散式模式,完全分散式模式。下面介紹完全分散式安裝。

             HBase安裝前需要安裝Hadoop,安裝Hadoop請參照:http://blog.csdn.net/chabale/article/details/8808109

             HBase安裝步驟如下:

             第一步:下載HBase包  tar -zxvf Hbase*.tar.gz  解壓HBase

             第二步修改conf目錄下的配置檔案:

                           a)hbase-env.sh

                            修改內容:

                            #java安裝目錄

                            export JAVA_HOME=/usr/java/jdk1.6.0_24


                            #Hbase日誌目錄
                            export HBASE_LOG_DIR=/root/hadoop/hbase-0.94.6.1/logs

                            #如果使用HBase自帶的Zookeeper值設成true 如果使用自己安裝的Zookeeper需要將該值設為false

                            export HBASE_MANAGES_ZK=true

                            b)hbase-site.xml

                                                 <configuration>
                                                            <property>
                                                                      <name>hbase.rootdir</name>
                                                                      <value>hdfs://master:9000/hbase</value>
                                                            </property>
                                                            <property>
                                                                  <name>hbase.cluster.distributed</name>
                                                                  <value>true</value>
                                                            </property>
                                                            <property>
                                                                  <name>hbase.master</name>
                                                                  <value>hdfs://master:60000</value>
                                                            </property>
                                                           <property>
                                                                      <name>hbase.zookeeper.quorum</name>
                                                                      <value>master,slave,slave1</value>
                                                             </property>
                                                      </configuration>

                                        hbase.rootdir指定Hbase資料儲存目錄

                                        hbase.cluster.distributed 指定是否是完全分散式模式,單機模式和偽分散式模式需要將該值設為false

                                         hbase.master指定Master的位置

                                        hbase.zookeeper.quorum 指定zooke的叢集,多臺機器以逗號分隔

                            c)修改conf下的regionservers檔案

                                          master
                                          slave
                                          slave1

                           d)再修改Hadoop hdfs-site.xml下的一個屬性值。(記得其他的datanode也要進行修改)

                <property> 
                     <name>dfs.datanode.max.xcievers</name> 
                     <value>4096</value> 
                </property>

                           該引數限制了datanode所允許同時執行的傳送和接受任務的數量,預設為256,hadoop-defaults.xml中通常不設定這個引數。這個限制看來實際有些偏小,高   負載

                            e)拷貝hbase到所有的節點

                   tar zcvf hbase-0.92.1.tar.gz hbase-0.92.1

                   scp hbase-0.92.1.tar.gz [email protected]:~/

                   scp hdfs-site.xml [email protected]:~/

                   然後進行相應的解壓、替換即可。

                   其他datanode節點按照相同的操作即可。

                   f)啟動順序:先啟動Hadoop-》hbase,如果使用自己安裝的zookeeper啟動順序是:Hadoop-》zookeeper-》hbase

                         停止順序:hbase->zookeeper->hadoop

                  按照上面的順序啟動:

                  master主機上jps:

                 1145 SecondaryNameNode
                 1248 JobTracker
                  2025 Jps
                  1756 HMaster
                  1931 HRegionServer
                   965 NameNode

                 節點上jps:

                 1434 DataNode
                 1557 TaskTracker
                 1694 HQuorumPeer
                  1857 Jps

                  主機進到hbase的bin目錄

                   執行./hbase shell

                HBase Shell; enter 'help<RETURN>' for list of supported commands.
                Type "exit<RETURN>" to leave the HBase Shell
                 Version 0.94.6.1, r1464658, Thu Apr  4 10:58:50 PDT 2013

                  hbase(main):001:0>
                 這就說明hbase已經成功安裝

                                                                       

相關推薦

hbase完全分散式環境搭建

             HBase是一個分散式的、面向列的開源資料庫,該技術來源於Chang et al所撰寫的Google論文“Bigtable:一個結構化資料的分散式儲存系統”。就像Bigtable利用了Google檔案系統(File System)所提供的分散式資料儲

最詳細的Hadoop+Hbase+Hive完全分散式環境搭建教程(二)

繼續上次的教程,這次安裝hbase與hive 一、hbase2.1.1安裝 在master節點: $ tar -zxvf hbase-2.1.1-bin.tar.gz -C /opt $ cd /opt/hbase-2.1.1/conf/ $ vi hbase-

HBase HA完全分散式環境搭建

一 叢集部署架構介紹 Master節點一主一備,跟HadoopNameNode 保持一致,即HBase Master也把主從節點放在NameNode主從同一臺機器 RegionServer放在每一個對

手把手教你配置Hbase完全分散式環境

HBase配置相對比較簡單,下面的教程也是基於我上面2篇Hadoop配置的環境下繼續往下新增HBase的分散式配置,這次我的HBase安裝目錄放在跟Hadoop同一目錄下面,節點資訊跟我前一篇Hadoop完全分散式配置完全一樣,不清楚的話可以參考我那篇文章。 HBase根目錄:/usr/mywi

Hadoop從入門到精通系列之--3.完全分散式環境搭建

目錄 一 什麼是完全分散式 二 準備伺服器 三 叢集分發指令碼 3.1 scp(secure copy)安全拷貝 3.2 rsync遠端同步 3.3 叢集分發指令碼 四 叢集規劃 4.1 規劃思想 4.2 具體配置 4.3 ssh免密登陸 一 什麼

Hadoop系列之完全分散式環境搭建及測試驗證

前置條件: 已製作好CentOS 虛擬機器模板。 該模板安裝好Oracle JDK,且 JAVA_HOME 值為/usr/java/jdk1.8.0_171-amd64/jre。 準備三臺虛擬機器 搭建完全 Hadoop 分散式最少需要三臺伺服器,假設三臺伺服器

大資料環境搭建之Kafka完全分散式環境搭建步驟詳解

文章目錄 環境準備 解壓安裝 配置檔案 服務啟動 1、啟動分散式叢集的zookeeper 2、啟動Kafka服務 偽分散式搭建完畢之後,只要稍作修改就

大資料環境搭建HBase分散式環境搭建步驟詳解

文章目錄 HBase簡介 環境準備 JDK1.8以上 HBase 1.2.6 安裝模式 安裝配置 解壓安裝包 配置檔案 hbase-env.

Hadoop2.7.4完全分散式環境搭建

軟體版本 虛擬機器管理軟體:VMware WorkStation Pro 12.0 作業系統:CentOS 6.7 Hadoop:Hadoop 2.7.4 JDK:jdk-8u65-linux-x64.tar.gz 一、環境準備 1、 修改各個節點主機名:vi /e

Spark之——Hadoop2.7.3+Spark2.1.0 完全分散式環境 搭建全過程

一、修改hosts檔案在主節點,就是第一臺主機的命令列下;vim /etc/hosts我的是三臺雲主機:在原檔案的基礎上加上;ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2其中的i

Hadoop完全分散式環境搭建

試驗環境: 1臺NameNode伺服器,2臺DataNode伺服器 安裝步驟: ①:配置/etc/hosts檔案:實現叢集內部的DNS解析,無需查詢DNS伺服器,當訪問遠端主機時首先查詢hosts檔案是否有配置,如果配置則直接按照指定的IP直接訪問遠端主機(

Hadoop2.8.1完全分散式環境搭建

前言 本文搭建了一個由三節點(master、slave1、slave2)構成的Hadoop完全分散式叢集(區別單節點偽分散式叢集),並通過Hadoop分散式計算的一個示例測試叢集的正確性。 本文叢集三個節點基於三臺虛擬機器進行搭建,節點安裝的作業系統為Centos7(yum源),Hadoop版本選取為2.8

Hadoop 2.6.4 完全分散式環境搭建

一、安裝linux 環境 OS Linux:CentOS 6.6 64bit 記憶體 1.5-2GB 硬碟 15-20GB 二、安裝JDK 及修改hostname 1、修改hostname  [[email protected] ~]# vi /etc/s

HBase完全分散式叢集環境搭建過程總結

一、前言      暑期實驗室實習學姐告知學習HBase,便利用複習之餘的時間搭建HBase環境,先前不瞭解搞了個單機版的,學姐說實驗室開發不用單機2333[尷尬],於是又開始建立虛擬機器開始完全分散式叢集環境的搭建。搭建主要是各種百度,也遇到了一些bug,也來來回回刪增了

Hadoop搭建完全分散式環境

在搭建叢集中,常見的錯誤 1)格式化 首先要記住,不要頻繁的格式化namenode, 如果非要格式化namenode,先刪除tmp目錄中的內容 ,清空之前,最好把所有的程序jps 中的殘存的服務關掉,如果不關閉的話會存在遺留的程序,就有可能佔用之前的埠號。 2)埠可能被佔用 3)避免多使

搭建HBase完全分散式

在搭建zookeeper叢集模式基礎上搭建的。(點選該藍色超連結,可以依次找到相關Hadoop以及zookeeper叢集的搭建。) 1、下載hbase壓縮包 2、上傳到linux中(使用了遠端連線軟體mobaxterm)。 3、解壓。 $ tar -zxvf hbase-1.

hadoop+zookeeper+yarn搭建高可用完全分散式環境詳細步驟

一、zookeeper叢集的安裝。 (我親自成功搭建過的一套叢集,涉及到很多的細節,但是有的細節地方我不一定能完全寫出,如果有遇到問題的可以留言) 前提準備3臺centos7.0虛擬機器 (1)首先設定每臺虛擬機器的網路連線方式為net方式,然後修改每臺虛

[虛擬機器VM][Ubuntu12.04]搭建Hadoop完全分散式環境(一)

前言 大家都知道,Hadoop的部署方式可分為 單機模式 偽分散式 完全分散式 本篇主要講解的就是完全分散式。 搭建完全分散式的叢集環境,需要多臺的硬體裝置,作為初學者,為了搭建叢集去買多臺電腦,多少有點不現實,所以這裡我採用的是VM虛擬機器,模擬搭

在Centos叢集上搭建Storm完全分散式環境

一、環境準備叢集:三臺linux伺服器,系統不限寫部落格三臺伺服器的zookeeper已安裝並處於執行階段三臺伺服器的jdk1.8環境已安裝,如沒有,請參考我的部落格叢集環境如下:#OShostnameipsoftwarenotes1centosmaster192.168.0

HBase篇--搭建HBase完全分散式叢集

一.前述。 完全分散式基於hadoop叢集和Zookeeper叢集。所以在搭建之前保證hadoop叢集和Zookeeper叢集可用。可參考本人部落格地址 二.叢集規劃。 說明:因為HMaster主