1. 程式人生 > >Hbase安裝配置(含分散式ZooKeeper)

Hbase安裝配置(含分散式ZooKeeper)

環境說明

系統為CentOS 6.0

192.168.255.128  =》 server01
192.168.255.130  =》 server02
192.168.255.131  =》 server03

/etc/hosts檔案中有這些IP和域名的對映關係

配置server01在hadoop使用者下可以通過金鑰無需密碼訪問server02和server03

1. 安裝配置zookeeper

在三臺伺服器上執行以下同樣的操作

a. 下載

b. 安裝

cd /usr/local/src
tar zxvf zookeeper-3.3.4.tar.gz
mv zookeeper-3.3.4 /usr/local/zookeeper
chown -R hadoop:hadoop /usr/local/zookeeper

解壓安裝,目錄的擁有者設定為zookeeper

c. 建立資料目錄

mkdir /data/zookeeper
chown -R hadoop:hadoop /data/zookeeper

d. 修改配置檔案

建立配置檔案(注意:以下操作在hadoop使用者中進行)

su - hadoop
ln -s /usr/local/zookeeper zookeeper
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg

編輯配置檔案

  1. vi zoo.cfg
  2. # 修改資料目錄dataDir為以下值  
  3. dataDir=/data/zookeeper  
  4. # 新增以下段落  
  5. server.1=192.168.255.128:2887:3887  
  6. server.2=192.168.255.130:2888:3888  
  7. server.3=192.168.255.131:2889:3889 

server.id=host:port:port標識不同的ZooKeeper伺服器

需要在每個伺服器的資料目錄中(這邊為/data/zookeeper)建立myid檔案,檔案的內容為以上對應的server.id中的id

  1. vi /data/zookeeper/myid  
  2. # 值為各個伺服器對應的server.id中的id
  3. id

e. 配置環境變數並啟動ZooKeeper

  1. vi .bashrc  
  2. export ZOOKEEPER_HOME=/usr/local/zookeeper  
  3. PATH=$PATH:$ZOOKEEPER_HOME/bin  
  4. exit  
  5. su - hadoop 

需要在每一臺機器上都啟動

zkServer.sh start

f. 驗證

zkCli.sh -server 192.168.255.128:2181

[zk: 192.168.255.128:2181(CONNECTED) 0] help

......

顯示幫助內容

2. 安裝HBase

同樣也是三臺伺服器執行同樣的操作

a. 下載

b. 安裝

cd /usr/local/src
tar zxvf hbase-0.90.5.tar.gz
mv hbase-0.90.5 /usr/local/hbase
chown -R hadoop:hadoop /usr/loca/hbase

c. 配置檔案

su - hadoop
ln -s /usr/local/hbase hbase
cd hbase/conf

編輯配置檔案hbase-site.xml

  1. vi hbase-site.xml
  2. <configuration> 
  3.   <property> 
  4.     <name>hbase.rootdir</name> 
  5.     <value>hdfs://server01:9000/hbase</value> 
  6.     <description>區域伺服器使用儲存HBase資料庫資料的目錄</description> 
  7.   </property> 
  8.   <property> 
  9.     <name>hbase.cluster.distributed</name> 
  10.     <value>true</value> 
  11.     <description>指定HBase執行的模式:                 false: 單機模式或者為分散式模式                   
  12.                  true: 全分佈模式  
  13.     </description> 
  14.   </property> 
  15.   <property> 
  16.     <name>hbase.zookeeper.quorum</name> 
  17.     <value>server01,server02,server03</value> 
  18.     <description>ZooKeeper叢集伺服器的位置</description> 
  19.   </property> 
  20. </configuration> 

編輯配置檔案regionservers

  1. vi regionservers  
  2. server02  
  3. server03 

設定環境變數hbase-env.sh

  1. vi hbase-evn.sh  
  2. export HBASE_MANAGES_ZK=false 

使用獨立的ZooKeeper時需要修改HBASE_MANAGES_ZK值為false,為不使用預設ZooKeeper例項。

d. hadoop和hbase版本匹配問題

使用的版本資訊如下:

hadoop-0.20.205.0.tar.gz
hbase-0.90.5.tar.gz

需要將hadoop主目錄下的hadoop-core-0.20.205.0.jar和主目錄中lib目錄下的commons-configuration-1.6.jar複製到HBase主目錄的lib目錄中,並刪除原來的hbase主目錄的lib目錄下的hadoop-core-0.20-append-r1056497.jar。

否則,會出現兩個錯誤,不能連線zookeeper和找不到common.configuration對應的類

e. 修改hadoop使用者環境變數並啟動HBase

  1. vi .bashrc  
  2. export HBASE_HOME=/usr/local/hbase  
  3. PAHT=$PATH:$HBASE_HOME/bin 

exit
su - hadoop

以上使(先退出hadoop使用者到root,然後登陸到hadoop使用者)環境變數生效

需要先啟動ZooKeeper(已經啟動)和hdfs檔案系統

注意:以下兩個命令只需要在server01下啟動

start-dfs.sh
start-hbase.sh

f. 測試

hbase shell
hbase(main):001:0> status
2 servers, 0 dead, 1.0000 average load

相關推薦

Hbase安裝配置分散式ZooKeeper

環境說明 系統為CentOS 6.0 192.168.255.128  =》 server01 192.168.255.130  =》 server02 192.168.255.131  =》 server03 /etc/hosts檔案中有這些IP和域名的對映關係 配

hbase安裝配置整合到hadoop

1.快速單機安裝: 在單機安裝Hbase的方法。會引導你通過shell建立一個表,插入一行,然後刪除它,最後停止Hbase。只要10分鐘就可以完成以下的操作。 1.1下載解壓最新版本 $ tar xfz hbase-0.90.4.tar.gz $ cd hbase-0.

<親測>CentOS 7.3下Node.js 8.6安裝配置NPM以及PM2

命令 mod profile 添加 data- x64 dsm 解壓 .net CentOS 7.3下Node.js 8.6安裝配置 2017年09月30日 14:12:02 閱讀數:2245更多 個人分類: Nodejs

Ubuntu16.04 下 hadoop的安裝配置分散式環境

export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

keepalived 安裝配置高可用VIP,雙主模式

keepalived 高可用 雙主模式 郵件腳本 首先需要明白我們準備使用keepalived來做什麽,今天這裏只是給大家簡單安裝和配置下keepalived實現vip對外服務,防止單點故障。keepalived是高可用高可用高可用 而非負載非負載非負載。 下面我將使用keepalived部署雙主模模式,

【Apache】HTTPD 2.4.37 + OpenSSL 1.1.1 企業級安全配置TLS修復

我為什麼要寫這一篇稿子? 為了避免更多的運維、開發者沒能實現企業的資訊保安,我將共享出我個人的HTTPD的安全修復(2.2和2.4差不太多就看2.4就好)   起因:我為某M工作,但因某M和testin合作,結果他們跑個指令碼在安全上檢測到 SlowHTTPDenialofServi

HBase安裝配置,使用獨立zookeeper

1.HBase安裝配置,使用獨立zookeeper 2.修改環境變數:第一臺機器規劃為master, 第二臺機器為RegionServer,再在第一臺機器上啟動RegionServer製作一個叢集1 master2 RegionServer 在機器上執行:vi /etc/profile,新增如下內容:ex

Bugzilla安裝配置Rhel+Apache+MySQL

Bugzilla安裝手冊 版本: Bugzilla 3.2 作業系統: Redhat Enterprise Linux 5 2009-01-22

Mac下安裝MySQL配置

.tar.gz 界面 take 8.4 通過 -1 pass 查看 pack 首先需要下載 MySQL Community Server 下載地址:https://dev.mysql.com/downloads/mysql/ 進入MySQL的下載界面(https:

ZooKeeper叢集安裝配置ZooKeeper3.4.6

環境 同時需要在/etc/profile檔案中增加 export JAVA_HOME=/usr/java/jdk1.8.0_65 export CLASSPATH=.:$JAVA_HOM

Unity3D 釋出APK安卓環境配置步驟、安裝、教程Java/Android(超全流程)

Unity3D安卓環境配置執行 本文提供全流程,中文翻譯。Chinar堅持將簡單的生活方式,帶給世人!(擁有更好的閱讀體驗 —— 高解析度使用者請根據需求調整網頁縮放比例) C

java架構之路-分散式zookeeperzookeeper叢集配置和選舉機制詳解

  上次部落格我們說了一下zookeeper的配置檔案,以及命令的使用https://www.cnblogs.com/cxiaocai/p/11597465.html。我們這次來說一下我們的zookeeper的叢集配置和java的API相關操作。 叢集:   一般情況下我們用zookeeper來做任務排程中心

高性能HTTP加速器Varnish安裝配置包含常見錯誤

人員 準備 版本 狀態碼 port pop 沒有 gis for Varnish是一款高性能的開源HTTP加速器。挪威最大的在線報紙Verdens Gang使用3臺Varnish取代了原來的12臺Squid,性能竟然比曾經更好。Varnish 的作者Po

手把手教你Chrome瀏覽器安裝Postman下載雲盤鏈接(轉)

地址欄 用戶 width 選擇 如圖所示 新版 調試 img 發送 文章轉自http://www.ljwit.com/archives/php/278.html 說明: Postman不多介紹,是一款功能強大的網頁調試與發送網頁HTTP請求的Chrome插件。本文主要介紹下

轉:SQL SERVER 2014 安裝圖解 SQL SERVER 2014 安裝程序共享

baidu ref 密碼 步驟 ase share 配置 實例 try 開篇介紹 2015年1月1日,新的一年開始之際,本來應該好好做點有意義的事情來跨個年的。結果,老習慣 - 睡覺之前一定要折騰一下電腦,說幹就幹,給新到的 DELL 電腦裝虛機,下載 SQL SERV

集中化監控工具zabbix的安裝配置centos7

zabbix一、zabbix是什麽Zabbix是一個基於WEB界面的提供分布式系統監視以及網絡監視功能的企業級的開源解決方案。zabbix能監視各種網絡參數,保證服務器系統的安全運營;並提供靈活的通知機制以讓系統管理員快速定位/解決存在的各種問題。zabbix server可以通過SNMP,zabbix ag

SQL Server 2012安裝配置Part1

數據庫 SQL Server 1 安裝前準備安裝 SQL Server 2012 服務器及客戶端前,需要提前做以下兩項準備:SQL Server2012 依賴於.Net Framework 3.5.1 組件。Windows Server 2012 缺省未安裝該組件,所以需要手動安裝。為保證SQL Se

SQL Server 2012安裝配置Part2

數據庫 SQL Server SQL Server 2012安裝配置(Part1 )2. 服務器安裝運行安裝程序後,首先進入 SQL Server 安裝中心。選擇左側導航樹中的“安裝”菜單項。圖2-1 SQL Server 安裝中心 在右側菜單中點擊“全新 SQL Server 獨立安裝或向現有安裝添

SQL Server 2012安裝配置Part3

數據庫 SQL Server SQL Server 2012安裝配置(Part1 ) SQL Server 2012安裝配置(Part2 ) ? 3 客戶端安裝 3.1 安裝客戶端 功能選擇之前的操作與 SQL Server 安裝方法相同,在此不再贅述,下面將直接從功能選擇開始。 圖3-1 功能

SQL Server 2012安裝配置Part4

數據庫 SQL Server SQL Server 2012安裝配置(Part1)SQL Server 2012安裝配置(Part2)SQL Server 2012安裝配置(Part3 )SQL Server 2012安裝配置(Part4 ) 5 卸載 點擊系統“開始”按鈕,選擇“控制面板”菜單項,