2. 程式人生 > >Hadoop2.7.2+Hbase1.2.1分散式環境搭建整理

Hadoop2.7.2+Hbase1.2.1分散式環境搭建整理

阿新 • • 發佈：2019-01-11

一.準備環境

1.1. 安裝包

1）準備4臺PC

2）安裝配置Linux系統：CentOS-7.0-1406-x86_64-DVD.iso

3）安裝配置Java環境：jdk-8u91-linux-x64.gz

4）安裝配置Hadoop：hadoop-2.7.2-x64.tar.gz

5）安裝配置Hbase：hbase-1.2.1-bin.tar.gz

1.2. 網路配置

主機名

IP

master

202.196.37.40

slave1

202.196.37.41

slave2

202.196.37.42

slave3

202.196.37.43

1.3. 常用命令

# systemctl start foo.service  #執行一個服務

# systemctl stop foo.service  #停止一個服務

# systemctl restart foo.service  #重啟一個服務

# systemctl status foo.service  #顯示一個服務（無論執行與否）的狀態

# systemctl enable foo.service  #在開機時啟用一個服務

# systemctl disable foo.service  #在開機時禁用一個服務

# systemctl is-enablediptables.service  #檢視服務是否開機啟動

# reboot #重啟主機

# shutdown -h now  #立即關機

# source /etc/profile  #配置檔案修改立即生效

# yum install net-tools

二.安裝配置CentOS

2.1安裝CentOS

1）選擇啟動盤CentOS-7.0-1406-x86_64-DVD.iso，啟動安裝

2）選擇Install CentOS 7，回車，繼續安裝

3）選擇語言，預設是English，學習可以選擇中文，正時環境選擇English

4）配置網路和主機名，主機名：master，網路選擇開啟，配置手動的IPV4

5）選擇安裝位置；在分割槽處選擇手動配置；選擇標準分割槽，點選這裡自動建立他們，點選完成，收受更改

6）修改root密碼，密碼：a

7）重啟，安裝完畢。

2.2配置IP

2.2.1檢查IP

# ip addr

或

# ip link

2.2.2配置IP和網管

#cd/etc/sysconfig/network-scripts #進入網路配置檔案目錄

# find ifcfg-em*  #查到網絡卡配置檔案，例如ifcfg-em1

# vi ifcfg-em1  #編輯網絡卡配置檔案

或

# vi/etc/sysconfig/network-scripts/ifcfg-em1 #編輯網絡卡配置檔案

配置內容：

BOOTPROTO=static  #靜態IP配置為static，動態配置為dhcp

ONBOOT=yes #開機啟動

IPADDR=202.196.37.40  #IP地址

NETMASK=255.255.255.0  #子網掩碼

GATEWAY=202.196.37.254

DNS1=202.196.35.67

# systemctl restart network.service  #重啟網路

2.2.3配置hosts

# vi /etc/hosts

編輯內容：

202.196.37.40 master

202.196.37.41 slave1

202.196.37.42 slave2

202.196.37.43lave3

2.3關閉防火牆

# systemctl status firewalld.service  #檢查防火牆狀態

# systemctl stop firewalld.service  #關閉防火牆

# systemctl disable firewalld.service  #禁止開機啟動防火牆

2.4時間同步

# yum install -y ntp  #安裝ntp服務

# ntpdate cn.pool.ntp.org  #同步網路時間

2.5安裝配置jdk

2.5.1解除安裝自帶jdk

安裝好的CentOS會自帶OpenJdk,用命令java -version ，會有下面的資訊：

java version"1.6.0"
   OpenJDK Runtime Environment (build 1.6.0-b09)
   OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixedmode)

最好還是先解除安裝掉openjdk,在安裝sun公司的jdk.

先檢視rpm -qa | grep java

顯示如下資訊：

java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
    java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

解除安裝：

rpm -e --nodepsjava-1.4.2-gcj-compat-1.4.2.0-40jpp.115
    rpm -e --nodepsjava-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

還有一些其他的命令

rpm -qa | grep gcj

rpm -qa | grep jdk

如果出現找不到openjdksource的話，那麼還可以這樣解除安裝

yum -y remove javajava-1.4.2-gcj-compat-1.4.2.0-40jpp.115
    yum -y remove javajava-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

2.5.2安裝jdk

上傳jdk-8u91-linux-x64.gz 安裝包到root根目錄

# mkdir /usr/java

# tar -zxvf jdk-8u91-linux-x64.gz -C/usr/java/

# rm -rfjdk-8u91-linux-x64.gz

2.5.3各個主機之間複製jdk

# scp -r /usr/java slave1:/usr

# scp -r /usr/java slave2:/usr

# scp -r /usr/java slave3:/usr

2.5.4各個主機配置jdk環境變數

# vi /etc/profile

編輯內容

export JAVA_HOME=/usr/java/jdk1.8.0_91

export PATH=$JAVA_HOME/bin:$PATH

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# source/etc/profile  #使配置檔案生效

# java -version  #檢視java版本

2.6配置ssh無金鑰訪問

分別在各個主機上檢查ssh服務狀態：

# systemctl status sshd.service  #檢查ssh服務狀態

# yum install openssh-server openssh-clients  #安裝ssh服務，如果已安裝，則不用執行該步驟

# systemctl start sshd.service  #啟動ssh服務，如果已安裝，則不用執行該步驟

分別在各個主機上生成金鑰

# ssh-keygen -t rsa  #生成金鑰

在slave1上

# cp ~/.ssh/id_rsa.pub~/.ssh/slave1.id_rsa.pub

#scp~/.ssh/slave1.id_rsa.pub master:~/.ssh

在slave2上

# cp ~/.ssh/id_rsa.pub~/.ssh/slave2.id_rsa.pub

# scp ~/.ssh/slave2.id_rsa.pubmaster:~/.ssh

在slave3上

# cp ~/.ssh/id_rsa.pub~/.ssh/slave3.id_rsa.pub

# scp ~/.ssh/slave3.id_rsa.pubmaster:~/.ssh

在master上

# cd ~/.ssh

# cat id_rsa.pub >> authorized_keys

# cat slave1.id_rsa.pub >>authorized_keys

# cat slave2.id_rsa.pub >>authorized_keys

# cat slave3.id_rsa.pub >>authorized_keys

# scp authorized_keys slave1:~/.ssh

# scp authorized_keys slave2:~/.ssh

# scp authorized_keys slave3:~/.ssh

三.安裝配置hadoop

3.1安裝hadoop

上傳hadoop-2.7.2.tar.gz安裝包到root根目錄

# tar -zxvf hadoop-2.7.2.tar.gz -C /usr

# rm -rf hadoop-2.7.2.tar.gz

# mkdir /usr/hadoop-2.7.2/tmp

# mkdir /usr/hadoop-2.7.2/logs

# mkdir /usr/hadoop-2.7.2/hdf

# mkdir/usr/hadoop-2.7.2/hdf/data

# mkdir /usr/hadoop-2.7.2/hdf/name

3.1.1在hadoop中配置hadoop-env.sh檔案

edit the file etc/hadoop/hadoop-env.sh todefine some parameters as follows:

  # set to the root ofyour Java installation

  exportJAVA_HOME=/usr/java/jdk1.8.0_91

3.1.2修改yarn-env.sh

#export JAVA_HOME=/home/y/libexec/jdk1.7.0/

export JAVA_HOME=/usr/java/jdk1.8.0_91

3.1.3修改slaves

# vi /usr/hadoop-2.7.2/etc/hadoop/slaves

配置內容：

刪除：localhost

新增：

slave1

slave2

slave3

3.1.4修改core-site.xml

# vi/usr/hadoop-2.7.2/etc/hadoop/core-site.xml

配置內容：

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://master:9000</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>file:/usr/hadoop-2.7.2/tmp</value>

  </property>

</configuration>

3.1.5修改hdfs-site.xml

# vi /usr/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

配置內容：

<configuration>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>/usr/hadoop-2.7.2/hdf/data</value>

    <final>true</final>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>/usr/hadoop-2.7.2/hdf/name</value>

    <final>true</final>

  </property>

</configuration>

3.1.6修改mapred-site.xml

# cp/usr/hadoop-2.7.2/etc/hadoop/mapred-site.xml.template/usr/hadoop-2.7.2/etc/hadoop/mapred-site.xml

# vi/usr/hadoop-2.7.2/etc/hadoop/mapred-site.xml

配置內容：

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.address</name>

    <value>master:10020</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>master:19888</value>

  </property>

</configuration>

3.1.7修改yarn-site.xml

# vi/usr/hadoop-2.7.2/etc/hadoop/yarn-site.xml

配置內容：

<configuration>

  <property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.mapred.ShuffleHandler</value>

  </property>

  <property>

    <name>yarn.resourcemanager.address</name>

    <value>master:8032</value>

  </property>

  <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>master:8030</value>

  </property>

  <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>master:8031</value>

  </property>

  <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>master:8033</value>

  </property>

  <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>master:8088</value>

  </property>

</configuration>

3.2各個主機之間複製hadoop

# scp -r /usr/ hadoop-2.7.2 slave1:/usr

# scp -r /usr/ hadoop-2.7.2 slave2:/usr

# scp -r /usr/ hadoop-2.7.2 slave3:/usr

3.3各個主機配置hadoop環境變數

# vi /etc/profile

編輯內容：

export HADOOP_HOME=/usr/ hadoop-2.7.2

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

exportHADOOP_LOG_DIR=/usr/hadoop-2.7.2/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

# source /etc/profile  #使配置檔案生效

3.4格式化namenode

# cd /usr/hadoop-2.7.2/sbin

# hdfs namenode -format

3.5啟動hadoop

啟動hdfs：

# cd /usr/hadoop-2.7.2/sbin

# start-all.sh

檢查hadoop啟動情況：

http://202.196.37.40:50070

http://202.196.37.40:8088/cluster

檢查程序：

# jps

master主機包含ResourceManager、SecondaryNameNode、NameNode等，則表示啟動成功，例如

2212 ResourceManager

2484 Jps

1917 NameNode

2078 SecondaryNameNode

各個slave主機包含DataNode、NodeManager等，則表示啟用成功，例如

17153 DataNode

17334 Jps

17241 NodeManager

四.安裝配置zookeeper

4.1配置zookeeper環境變數

vi /etc/profile

export ZOOKEEPER_HOME=/usr/zookeeper-3.4.6

export PATH=$ZOOKEEPER_HOME/bin:$PATH

source /etc/profile

4.2配置zookeeper

2、在slave1,slave2,slave3上面搭建zookeeper

例如：

slave1202.196.37.41

slave2  202.196.37.42

slave3  202.196.37.43

3、上傳zookeeper-3.4.6.tar.gz到任意一臺伺服器的根目錄，並解壓：zookeeper：

tar–zxvf zookeeper-3.4.6.tar.gz -C /usr

4、在zookeeper目錄下建立zookeeper-data目錄，同時將zookeeper目錄下conf/zoo_simple.cfg檔案複製一份成zoo.cfg

cp/usr/zookeeper-3.4.6/conf/zoo_sample.cfg zoo.cfg

5、修改zoo.cfg

# Thenumber of milliseconds of each tick

tickTime=2000

# Thenumber of ticks that the initial

#synchronization phase can take

initLimit=10

# Thenumber of ticks that can passbetween

#sending a request and getting anacknowledgement

syncLimit=5

# thedirectory where the snapshot isstored.

# do notuse /tmp for storage, /tmp hereis just

#example sakes.

dataDir=/usr/zookeeper-3.4.6/zookeeper-data 

# theport at which the clients willconnect

clientPort=2181

# themaximum number of clientconnections.

#increase this if you need to handle moreclients

#maxClientCnxns=60

#

# Besure to read the maintenance sectionof the

# administratorguide before turning onautopurge.

#

#http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# Thenumber of snapshots to retain indataDir

#autopurge.snapRetainCount=3

# Purgetask interval in hours

# Set to"0" to disable autopurge feature

#autopurge.purgeInterval=1

server.1=slave1:2888:3888

server.2=slave2:2888:3888

server.3=slave3:2888:3888

6、拷貝zookeeper目錄到另外兩臺伺服器：

scp-r/usr/zookeeper-3.4.6 slave2:/usr

scp-r/usr/zookeeper-3.4.6 slave3:/usr

分別在幾臺伺服器的zookeeper-data目錄下建立myid其ip對應相應的server.*server.1的myid內容為1server.2的myid內容為2server.3的myid為3

7、啟動ZooKeeper叢集，在每個節點上分別啟動ZooKeeper服務：

cd/usr/zookeeper-3.4.6/

bin/zkServer.sh start

8、可以檢視ZooKeeper叢集的狀態，保證叢集啟動沒有問題：分別檢視每臺伺服器的zookeeper狀態zookeeper#bin/zkServer.shstatus檢視那些是following那個是leader

Eg:

zkServer.shstatus

五.安裝配置hbase

5.1安裝hbase

上傳hbase-1.2.1-bin.tar.gz安裝包到root根目錄

# tar -zxvf hbase-1.2.1-bin.tar.gz -C /usr

# mkdir /usr/hbase-1.2.1/logs

5.2配置hbase環境變數

vi /etc/profile

export HBASE_HOME=/usr/hbase

export PATH=$PATH:$HBASE_HOME/bin

source /etc/profile

5.3修改hbase-env.sh

# vi/usr/hbase-1.2.1/conf/hbase-env.sh

配置內容：

export JAVA_HOME=/usr/java/jdk1.8.0_91

export HBASE_LOG_DIR=${HBASE_HOME}/logs

export HBASE_MANAGES_ZK=false

5.4修改regionservers

# vi /usr/hbase-1.2.1/conf/regionservers

配置內容：

刪除：localhost

新增：

slave1

slave2

slave3

5.5修改hbase-site.xml

# vi/usr/hbase-1.2.1/conf/hbase-site.xml

配置內容：

<configuration>

  <property>

    <name>hbase.rootdir</name>

    <value>hdfs://master:9000/hbase</value>

  </property>

  <property>

      <name>hbase.cluster.distributed</name>

      <value>true</value>

  </property>

  <property>

        <name>hbase.zookeeper.quorum</name>

        <value>slave1,slave2,slave3</value>

  </property>

    <property>

      <name>hbase.master</name>

      <value>hdfs://master:60000</value>

  </property>

<property>

    <name>hbase.zookeeper.property.dataDir</name>

    <value>/usr/zookeeper-3.4.6/zookeeper-data</value>

  </property>

  <property>

    <name>hbase.zookeeper.property.clientPort</name>

     <value>2222</value>

</property>

</configuration>

5.6各個主機之間複製hbase

# scp -r /usr/hbase-1.2.1 slave1:/usr

# scp -r /usr/hbase-1.2.1 slave2:/usr

# scp -r /usr/hbase-1.2.1 slave3:/usr

5.7啟動hbase

啟動之前先啟動hadoop和zookeeper叢集

啟動hbase：

# cd /usr/hbase-1.2.1/bin

#./start-hbase.sh

檢查hbase啟動情況

http://192.168.1.105:60010/master-status

http://202.196.**.**:60030/rs-status (自己的ip)

檢查程序：

# jps

master主機包含ResourceManager、SecondaryNameNode、NameNode、HQuorumPeer、HMaster等，則表示啟動成功，例如

2212 ResourceManager

2999 Jps

2697 HQuorumPeer

1917 NameNode

2078 SecondaryNameNode

2751 HMaster

各個slave主機包含DataNode、NodeManager、HRegionServer、HQuorumPeer等，則表示啟用成功，例如

17540 Jps

17142 NodeManager

17338 HRegionServer

17278 HQuorumPeer

17055 DataNode

相關推薦

CentOS 7下Hbase1.3.1分散式環境搭建

平臺環境：Java1.8.0_144、Hadoop2.7.4、Zookeeper3.4.9 簡介：HBase – Hadoop Database，是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統

Hadoop2.7.2+Hbase1.2.1分散式環境搭建整理

一.準備環境 1.1. 安裝包 1）準備4臺PC 2）安裝配置Linux系統：CentOS-7.0-1406-x86_64-DVD.iso 3）安裝配置Java環境：jdk-8u91-linux-x64.gz 4）安裝配置Hadoop：hadoop-2.7.2-x64.ta

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境   一、環境說明 個人理解：zookeeper可以獨立搭建叢集，hbase本身不能獨立搭建叢集需要和hadoop和hdfs整合 叢集環境至少需要3個節點（也就是3臺伺服器裝置）：1個Master，2

Hadoop2.7.5+Hbase1.2.6完全分散式搭建

1.叢集安裝主機名MasterzookeeperregionServerMaster11Slave1備份11Slave2112.ssh（在Hadoop分散式搭建中已經完成）3.修改Master中Hbase的conf目錄下regionservers檔案，類似於Hadoop修改s

Hadoop 2.6.4 完全分散式環境搭建

一、安裝linux 環境 OS Linux：CentOS 6.6 64bit 記憶體 1.5-2GB 硬碟 15-20GB 二、安裝JDK 及修改hostname 1、修改hostname  [[email protected] ~]# vi /etc/s

大資料學習環境搭建(CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1)

node1192.168.1.11node2192.168.1.12node3192.168.1.13備註NameNodeHadoopYY高可用DateNode YYYResourceManager YY高可用NodeManagerYYYJournalNodes YYY奇數個,至少3個節點ZKFC（DFSZK

Hadoop2.7.1+Hbase1.2.1叢集環境搭建(1)hadoop2.7.1原始碼編譯

        官網目前提供的下載包為32位系統的安裝包，在linux 64位系統下安裝後會一直提示錯誤“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-j

Spark之——Hadoop2.7.3+Spark2.1.0 完全分散式環境 搭建全過程

一、修改hosts檔案在主節點，就是第一臺主機的命令列下;vim /etc/hosts我的是三臺雲主機：在原檔案的基礎上加上;ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2其中的i

從零開始搭建大資料平臺系列之（2.1）—— Apache Hadoop 2.x 偽分散式環境搭建

JDK 版本：jdk 1.7.0_67 Apache Hadoop 版本：Hadoop 2.5.0 1、安裝目錄準備 ~]$ cd /opt/ opt]$ sudo mkdir /opt/modules opt]$ sudo chown beifeng:b

Hadoop-2.7.1叢集環境搭建

摘自：http://blog.csdn.net/u014039577/article/details/49813531 由於日誌資料量越來越大，資料處理的邏輯越來越複雜，同時還涉及到大量日誌需要批處理，當前的flume-kafka-storm-Hbase-web這一套流程已經不能滿足當前的需求了，所以只

Hadoop2.2.0偽分散式環境搭建（附：64位下編譯Hadoop-2.2.0過程）

Hadoop2.2.0偽分散式環境搭建： 寫在前面：Hadoop2.2.0預設是支援32位的OS，如果想要在64位OS下執行的話，可以通過在64位OS下面編譯Hadoop2.2.0來實現，編譯的操作步驟在最後面呈現。 1： 操作：下載軟體； 檔案：Hadoop-2.2.0.

【轉1】Appium 1.6.3 在Xcode 8, iOS 10.2（模擬器）測試環境搭建 經驗總結

div tar post bug span trace 版本 test 4.0 Appium 1.6.3 在Xcode 8, iOS 10.2（模擬器）測試環境搭建 經驗總結 關於 Appium 1.6.3 在Xcode 8, 10.2 的iOS模擬器上的問

Hadoop2.7.3單機偽分散式環境搭建

Hadoop2.7.3單機偽分散式環境搭建 作者：家輝，日期：2018-07-10 CSDN部落格： http://blog.csdn.net/gobitan 說明：Hadoop測試環境經常搭建，這裡也做成一個模板並記錄下來。 基礎環境

hadoop-2.7.4-翻譯文件-分散式叢集搭建

安裝簡介 安裝Hadoop叢集通常需要在叢集中的所有機器上進行統一安裝，或者通過適合目標作業系統的打包系統進行安裝。 安裝的要點是對不同的節點分配不同的功能。 其他服務（例如Web App Proxy Server和MapReduce作業歷史記錄伺服器）通常根據負載在專用硬體或共享裝置上

Hadoop2.7.4完全分散式環境搭建

軟體版本 虛擬機器管理軟體：VMware WorkStation Pro 12.0 作業系統：CentOS 6.7 Hadoop：Hadoop 2.7.4 JDK：jdk-8u65-linux-x64.tar.gz 一、環境準備 1、 修改各個節點主機名：vi /e

Centos7 實現Hadoop-2.9.1分散式叢集搭建和部署（三臺機器）

一、準備三臺虛擬機器hadoop 192.168.131.128 localhost131 192.168.131.131 localhost134 192.168.131.134(以上是我的三臺虛擬機器的hostname 和 ip)hadoop 是 master 的 hos

Hadoop2.8.1完全分散式環境搭建

前言 本文搭建了一個由三節點（master、slave1、slave2）構成的Hadoop完全分散式叢集（區別單節點偽分散式叢集），並通過Hadoop分散式計算的一個示例測試叢集的正確性。 本文叢集三個節點基於三臺虛擬機器進行搭建，節點安裝的作業系統為Centos7（yum源），Hadoop版本選取為2.8

Storm(1.2.1)叢集環境搭建

1，Storm基礎介紹：Storm作為大資料處理框架之一，其和Spark一樣具有非常廣泛的使用,如下為Storm的架構圖： 在瞭解叢集配置安裝之前需要掌握如下幾個概念(concept):拓撲（Topologies）:類似Hadoop的MapReduce 的任務（Job），區別

solrcloud5.2.1+tomcat環境搭建

一、solrcloud+tomcat環境搭建 zookeeper配置： 配置過程略 地址為：192.168.1.249:2181 tomcat+solrcloud配置： 假設tomcat對外提供的埠為8088 1、將tomcat的配置檔案se

Nutch2.2.1 開發環境搭建

<property>   <name>http.agent.name</name>   <value>YourNutchSpider</value>  </property>    <property>   <name&