1. 程式人生 > >HBase篇--搭建HBase完全分散式叢集

HBase篇--搭建HBase完全分散式叢集

一.前述。

完全分散式基於hadoop叢集和Zookeeper叢集。所以在搭建之前保證hadoop叢集和Zookeeper叢集可用。可參考本人部落格地址

二.叢集規劃。

說明:因為HMaster主節點和從節點不會自動切換,所以需要互相配置免密,並且配置從主節點到從節點的免密,備節點到從節點的免密。

推薦使用ssh-copy-id 主機名稱 即從當前節點免密到其他節點。當不能用時推薦使用如下命令:

ssh-copy-id -i ~/.ssh/id_dsa.pub [email protected]

三.搭建流程

3.1 時間同步ntpdate(一定要注意時間同步!!!)
             yum install ntp -y
             ntpdate 時間伺服器

3.2 hbase-env.sh配置
JAVA_HOME
HBASE_MANAGES_ZK=false(關閉Hbase本身的zookeeper叢集)

3.3 hbase-site.xml配置

<configuration>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster/hbase</value><--在HDFS上建立一個乾淨的節點,用於存放元資料-->
  </property>
  <property>
    <name>hbase.cluster.distributed</name><--是否開啟分散式-->


    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name><--對應的zookeeper叢集,不用加埠-->
    <value>node02,node03,node04</value>
  </property>
</configuration>

3.4 regionservers配置

node02
node03
node04


3.5 backup-masters配置(注意backup-masters需要手動建立)


node02

3.6 將hdfs當中的hdfs-site.xml 拷貝hbase的conf目錄下(因為儲存資料需要在hdfs上)

實際上以上三種方式將Hdfs和Hbase整合,推薦使用拷貝hdfs.xml到hbase的配置目錄中。

3.7 配置檔案分發
    
  保證叢集當中每一臺伺服器配置檔案相同

3.7 啟動節點

在node01(Master節點) 執行 bin/start-hbase.sh啟動主節點。在node02(backup-Master節點) 執行 bin/start-hbase.sh啟動備份節點。最好配置成全域性,載入到環境變數中去。

主節點:Hmaster

 

從節點:(歸屬於某個主節點)

至此,完全分散式叢集搭建完畢。!!!!

持續更新中。。。。,歡迎大家關注我的公眾號LHWorld.

相關推薦

HBase--搭建HBase完全分散式叢集

一.前述。 完全分散式基於hadoop叢集和Zookeeper叢集。所以在搭建之前保證hadoop叢集和Zookeeper叢集可用。可參考本人部落格地址 二.叢集規劃。 說明:因為HMaster主

Docker實戰之安裝配置HBase-1.2.2完全分散式叢集

環境配置 VM:VMware Workstation OS:Ubuntu 14.04  LTS HBASE:hbase-1.2.2 HBase叢集規劃 172.17.0.5   hmaster  172.17.0.6&

HBase 1.2.6 完全分散式叢集安裝部署詳細過程

Apache HBase 是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統,是NoSQL資料庫,基於Google Bigtable思想的開源實現,可在廉價的PC Server上搭建大規模結構化儲存叢集,利用Hadoop HDFS作為其檔案儲存系統,利用Hadoo

CentOS6.5搭建hadoop完全分散式叢集

搭建完全分散式叢集-------------------------------前提條件:已經按照之前的步驟搭建完偽分散式。https://blog.csdn.net/weixin_42006411/article/details/80500217搭建hadoop偽分散式連結

centos7搭建hadoop完全分散式叢集

搭建步驟   1.安裝centos7,並進行準備工作(可以安裝一個之後然後克隆) 2.修改各個centos7的hostname和hosts 3.建立使用者和使用者組 4.配置centos7網路,是centos7系統之間以及和hosts主機之間可以通過互相ping通

ubuntu18.04 搭建hadoop完全分散式叢集(Master、slave1、slave2)共三個節點

一、硬體配置以及作業系統: 所需要的機器以及作業系統:一臺mac os筆記本、一臺window筆記本(CPU雙核四執行緒,記憶體8G),其中mac os用於遠端操作,window筆記本裝有虛擬機器,虛擬出3個ubuntu18.04系統(配置CPU1個執行緒2個,記憶體1.5G,硬碟分配每個7

VM+CentOS+hadoop2.7搭建hadoop完全分散式叢集

寫在前邊的話:       最近找了一個雲端計算開發的工作,本以為來了會直接做一些敲程式碼,處理資料的活,沒想到師父給了我一個課題“基於質量資料的大資料分析”,那麼問題來了首先要做的就是搭建這樣一個平臺,毫無疑問,底層採用hadoop叢集,在此之上,進行一些其他元件的安裝和二

高效搭建Storm完全分散式叢集

問題導讀:1.storm是否為主從式?2.storm需要哪些安裝哪些軟體?3.如何驗證storm是否安裝成功? 此篇可以作為骨架篇,詳細參考Storm叢集搭建環境說明1、硬體說明使用三臺PC機,角色分配如下2、軟體說明 約定所有軟體都放在/usr/local/路徑下準備工作

超級無敵詳細使用ubuntu搭建hadoop完全分散式叢集

## 一、軟體準備 1. 安裝VMware 2. 下載ubuntu映象([阿里源ubuntu下載地址](http://mirrors.aliyun.com/ubuntu-releases/))選擇自己適合的版本,以下我使用的是18.04-server版就是沒有桌面的。安裝桌面版如果自己電腦配置不行的

HBase完全分散式叢集環境搭建過程總結

一、前言      暑期實驗室實習學姐告知學習HBase,便利用複習之餘的時間搭建HBase環境,先前不瞭解搞了個單機版的,學姐說實驗室開發不用單機2333[尷尬],於是又開始建立虛擬機器開始完全分散式叢集環境的搭建。搭建主要是各種百度,也遇到了一些bug,也來來回回刪增了

史上最簡單詳細的Hadoop完全分散式叢集搭建

一.安裝虛擬機器環境 Vmware12中文官方版 連結:https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取碼:6rep 啟用祕鑰:MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 這個安裝就十分的簡單了,只需要不斷點選下

叢集與簡單完全分散式叢集搭建

 我是在root許可權下搭建的流程比較簡單                                            1.簡單單機Hadoop叢集(偽分散式)搭建流程 下載 JDK 與Hadoop壓縮包,將檔案傳入linux系統中 解壓配置環境: ①首先

Hadoop完全分散式叢集搭建

如果前一章的內容你看懂了,那麼請先刪除之前搭建的三個新伺服器重新克隆三個!!!(博主絕對不是故意為之,真的只是忘記了?) Hadoop完全分散式叢集的搭建 1.分散式叢集搭建規劃 2.叢集的配置(許可權問題,命令執行位置問題請自行注意) 2.1

Centos7.5搭建Hadoop2.8.5完全分散式叢集

一、基礎環境設定 1. 準備4臺客戶機(VMware虛擬機器) 系統版本:Centos7.5 192.168.208.128 ——Master 192.168.208.129 ——Slaver-1 192.168.208.130 ——Slaver-2 192.168.208.130 ——Slaver-3

Hadoop-3.1.1完全分散式叢集搭建

一、工作準備 1.虛擬機器 安裝Vmware 安裝CentOs虛擬機器三臺 master 192.168.33.101 slave1 192.168.33.102 slave2 192.168.33.103 2.虛擬機器配置

CentOS7搭建Hadoop2.6完全分散式叢集環境

3臺主機 192.168.30.207 Master 192.168.30.251 Node1 192.168.30.252 Node2 直接用root裝,省事. 有特殊需求自行add user裝. 以下步驟除非特殊說明,否則每臺都必須配置. 1.rpm -ivh XX

VirtualBox+Centos7+(jdk1.7.0_71+Hadoop-2.6.0)/(jdk1.10+Hadoop-2.9.1)搭建完全分散式叢集平臺

VirtualBox+Centos7+(jdk1.7.0_71+Hadoop-2.6.0)/(jdk1.10+Hadoop-2.9.1)搭建完全分散式叢集平臺 本文有很多是自定義的,可以根據自己的實際情況和需求修改,儘量會用紅色標註出來,當然按照步驟,一步一步應該也能成功,不

一、Hadoop2.x完全分散式叢集搭建

實驗環境規劃 192.168.1.101 cmaster0 192.168.1.102 cslave0 192.168.1.103 cslave1 三臺伺服器都是安裝的CentOS6.8作業系統 配置/etc/hosts [[email protected] ~]#

linux hadoop完全分散式叢集搭建圖文詳解

一.前期準備 1.1 Win7官網下載hadoop包 本文使用版本hadoop-2.6.5.tar.gz 1.2 配置jdk 1.3 centos7叢集伺服器 主機名 系統

hadoop2.7.1在vmware上3臺centos7虛擬機器上的完全分散式叢集搭建

叢集架構 centos7的安裝 安裝java hadoop全分佈 ssh無密碼登入 hadoop叢集正常啟動測試 以下內容均屬個人理解,如有偏差,望大家諒解。 叢集架構 3臺虛擬機器都在同一個區域網中,網段是192.168.10.0,子網掩碼是