2. 程式人生 > >Hadoop HA叢集配置

Hadoop HA叢集配置

阿新 • • 發佈：2018-12-20

目錄

叢集規劃

安裝步驟

2.1解壓

​ ha5

​ ha6

​ ha7

​

一、 基礎配置

  • 建立7臺機器，設定靜態ip分別如下：

機器名 ip
CentOs6.4_min_java_hadoop_ha1 192.168.18.171
CentOs6.4_min_java_hadoop_ha2 192.168.18.172
CentOs6.4_min_java_hadoop_ha3 192.168.18.173
CentOs6.4_min_java_hadoop_ha4 192.168.18.174
CentOs6.4_min_java_hadoop_ha5 192.168.18.175
CentOs6.4_min_java_hadoop_ha6 192.168.18.176
CentOs6.4_min_java_hadoop_ha7 192.168.18.177

設定每臺機器的hostname 

vi /etc/sysconfig/network    #編輯network檔案，修改內容如下
	NETWORKING=yes
	HOSTNAME=ha1
  
#分別在7臺機器上執行上述命令，使得各臺機器的hostname對應關係如下：
  
| 機器名                        | hostname |
| ----------------------------- | -------- |
| CentOs6.4_min_java_hadoop_ha1 | ha1      |
| CentOs6.4_min_java_hadoop_ha2 | ha2      |
| CentOs6.4_min_java_hadoop_ha3 | ha3      |
| CentOs6.4_min_java_hadoop_ha4 | ha4      |
| CentOs6.4_min_java_hadoop_ha5 | ha5      |
| CentOs6.4_min_java_hadoop_ha6 | ha6      |
| CentOs6.4_min_java_hadoop_ha7 | ha7      |

修改各個機器的主機名和ip的對映（修改每臺機器的hosts檔案） 

vi /etc/hosts   #為hosts檔案新增如下內容
  
	192.168.18.171 ha1
	192.168.18.172 ha2
	192.168.18.173 ha3
	192.168.18.174 ha4
	192.168.18.175 ha5
	192.168.18.176 ha6 
	192.168.18.177 ha7

為每臺機器建立一個名為hadoop的使用者 

useradd hadoop  #新增hadoop使用者
passwd hadoop   #給hadoop使用者 設定密碼

為每臺機器的hadoop使用者配置sudo許可權 

vi /etc/sudoers   #使用root使用者編輯 新增如下內容：
	hadoop ALL=(ALL) ALL

關閉每臺機器的防火牆 

#檢視防火牆狀態
service iptables status
  
#關閉防火牆
service iptables stop
  
#檢視防火牆開機啟動狀態
chkconfig iptables --list
  
#關閉防火牆開機啟動
chkconfig iptables off

每臺機器安裝JDK 

#建立資料夾
mkdir /home/hadoop/develop_env
  
#解壓
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/develop_env
 vim /etc/profile    #將java新增到環境變數中在檔案最後新增
      export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_65
      export PATH=$PATH:$JAVA_HOME/bin

  #重新整理配置
  source /etc/profile

2、 hadoop配置

  • 叢集規劃

主機名 安裝的軟體 執行的程序
ha1 hadoop NameNode、DFSZKFailoverController(zkfc)
ha2 hadoop NameNode、DFSZKFailoverController(zkfc)
ha3 hadoop ResourceManager
ha4 hadoop ResourceManager
ha5 hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
ha6 hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
ha7 hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

1.在hadoop2.0中通常由兩個NameNode組成，一個處於active狀態（啟用狀態），另一個處於standby狀態（後備狀態）。ActiveNameNode對外提供服務，而Standby NameNode則不對外提供服務，僅同步active namenode的狀態，以便能夠在它失敗時快速進行切換。

hadoop2.0官方提供了兩種HDFS HA的解決方案，一種是NFS，另一種是QJM。這裡我們使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode（jounal 日誌）同步元資料資訊，一條資料只要成功寫入多數JournalNode即認為寫入成功。通常配置奇數個JournalNode

這裡還配置了一個zookeeper叢集，用於ZKFC（DFSZKFailoverController）故障轉移，當ActiveNameNode掛掉了，會自動切換Standby NameNode為standby狀態

​

2.hadoop-2.2.0中依然存在一個問題，就是ResourceManager只有一個，存在單點故障，hadoop-2.4.1解決了這個問題，有兩個ResourceManager，一個是Active，一個是Standby，狀態由zookeeper進行協調

  • 安裝步驟

1、安裝配置zooekeeper叢集（在ha5上）（更詳細zookeeper安裝步驟參見zookeeper安裝）

1.1解壓

#上傳zookeeper-3.4.7.tar.gz到/home/hadoop/develop_env
tar -zxvf zookeeper-3.4.7.tar.gz -C /home/hadoop/develop_env/

1.2修改配置 

cd /home/hadoop/develop_env/zookeeper-3.4.7/conf/

cp zoo_sample.cfg  zoo.cfg

vi  zoo.cfg

#修改：dataDir=/home/hadoop/develop_env/zookeeper-3.4.7/data
#在最後新增：
server.1=ha5:2888:3888
server.2=ha6:2888:3888
server.3=ha7:2888:3888

#然後建立一個data資料夾
mkdir /home/hadoop/develop_env/zookeeper-3.4.7/data
echo 1 > /home/hadoop/develop_env/zookeeper-3.4.7/data/myid

1.3、將配置好的zookeeper拷貝到其他節點 

scp-r /home/hadoop/develop_env/zookeeper-3.4.7/ ha6:/home/hadoop/develop_env/
scp-r /home/hadoop/develop_env/zookeeper-3.4.7/ ha7:/home/hadoop/develop_env/

#注意：修改ha6、ha7對應/hadoop/zookeeper-3.4.5/data/myid內容
#ha6：
echo 2 > /home/hadoop/develop_env/zookeeper-3.4.7/data/myid
#ha7：
echo 3 > /home/hadoop/develop_env/zookeeper-3.4.7/data/myid

2、安裝配置hadoop叢集（在ha1上操作）

2.1解壓

tar -zxvf hadoop-2.7.1.tar.gz

2.2配置HDFS（hadoop2.0所有的配置檔案都在$HADOOP_HOME/etc/hadoop目錄下）

#將hadoop新增到環境變數中

vi  /etc/profile

export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_65
export HADOOP_HOME=/home/hadoop/develop_env/hadoop-2.7.1
export PATH=PATH:JAVA_HOME/bin:$HADOOP_HOME/bin

2.2.1修改hadoo-env.sh 

#hadoop2.0的配置檔案全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/develop_env/hadoop-2.7.1/etc/hadoop
vi hadoo-env.sh   #新增如下語句
	#export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_55

2.2.2修改core-site.xml 

<configuration>
<!-- 指定hdfs的nameservice為ns1 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://ns1/</value>
</property>

<!-- 指定hadoop臨時目錄 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/develop_env/hadoop-2.7.1/data</value>
</property>

<!-- 指定客戶端訪問zookeeper的地址 -->
<property>
	<name>ha.zookeeper.quorum</name>
	<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
</configuration>

2.2.3修改hdfs-site.xml 

<configuration>
    <!--指定hdfs的nameservice為ns1，需要和core-site.xml中的保持一致-->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <!-- ns1下面有兩個NameNode，分別是nn1，nn2 -->
    <property>
            <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通訊地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>ha1:9000</value>
    </property>
    <!-- nn1的http通訊地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>ha1:50070</value>
    </property>
<!-- nn2的RPC通訊地址 -->
<property>
	<name>dfs.namenode.rpc-address.ns1.nn2</name>
	<value>ha2:9000</value>
</property>
<!-- nn2的http通訊地址 -->
<property>
	<name>dfs.namenode.http-address.ns1.nn2</name>
	<value>ha2:50070</value>
</property>
<!-- 指定NameNode的元資料在JournalNode上的存放位置 -->
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://ha5:8485;ha6:8485;ha7:8485/ns1</value>
</property>
<!--指定JournalNode在本地磁碟存放資料的位置 -->
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/home/hadoop/develop_env/hadoop-2.7.1/journaldata</value>
</property>
<!-- 開啟NameNode失敗自動切換 -->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
<!-- 配置失敗自動切換實現方式 -->
<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行-->
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>
	sshfence
	shell(/bin/true)
	</value>
</property>
<!-- 使用sshfence隔離機制時需要ssh免登陸-->
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!--配置sshfence隔離機制超時時間 -->
<property>
	<name>dfs.ha.fencing.ssh.connect-timeout</name>
	<value>30000</value>
</property>
</configuration>

2.2.4修改mapred-site.xml 

<configuration>
<!--指定mr框架為yarn方式 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>
</configuration>

2.2.5修改yarn-site.xml 

<configuration>
<!-- 開啟RM高可用 -->
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>
<!-- 分別指定RM的地址 -->
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>ha3</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>ha4</value>
</property>
<!-- 指定zk叢集地址 -->
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
</configuration>

2.2.6修改slaves(slaves是指定子節點的位置，因為要在ha1上啟動HDFS、在ha3啟動yarn，所以ha1上的slaves（做苦工的）檔案指定的是datanode的位置，ha3上的slaves檔案指定的是nodemanager的位置)

​ ha5

​ ha6

​ ha7

2.2.7配置免密碼登陸

#首先要配置ha1到ha2、ha3、ha4、ha5、ha6、ha7的免密碼登陸
#在ha1上生產一對鑰匙
ssh-keygen -t rsa
#將公鑰拷貝到其他節點，包括自己
ssh-copy-id ha1
ssh-copy-id ha2
ssh-copy-id ha3
ssh-copy-id ha4
ssh-copy-id ha5
ssh-copy-id ha6
ssh-copy-id ha7

#配置ha3到ha4、ha5、ha6、ha7的免密碼登陸
#在ha3上生產一對鑰匙
ssh-keygen -t rsa
#將公鑰拷貝到其他節點,包括自己
ssh-copy-id ha3
ssh-copy-id ha4
ssh-copy-id ha5
ssh-copy-id ha6
ssh-copy-id ha7

#注意：兩個namenode之間要配置ssh免密碼登陸，別忘了配置ha2到ha1的免登陸
在ha2上生產一對鑰匙
ssh-keygen -t rsa
ssh-coyp-id -i ha1

​

2.2.8將配置好的hadoop拷貝到其他節點

scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha2:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha3:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha4:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha5:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha6:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha7:/home/hadoop/develop_env/

2.3 HA 啟動及測試

注意：嚴格按照下面的步驟進行啟動

1、啟動zookeeper叢集（分別在ha5、ha6、ha7上啟動zk）

cd /home/hadoop/develop_env/zookeeper-3.4.7/bin/
./zkServer.sh start

#檢視狀態：一個leader，兩個follower
./zkServer.sh status

2、啟動journalnode（分別在在ha5、ha6、ha7上執行）

cd  /home/hadoop/develop_env/hadoop-2.7.1
sbin/hadoop-daemon.sh  start journalnode
#執行jps命令檢驗，ha5、ha6、ha7上多了JournalNode程序

3、格式化HDFS

#在ha1上執行命令:
hdfs namenode -format

#格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個檔案，這裡我配置的是/home/hadoop/develop_env/hadoop-2.7.1/data，然後將/home/hadoop/develop_env/hadoop-2.7.1/data拷貝到ha2的/home/hadoop/develop_env/hadoop-2.7.1/下。
scp -r /home/hadoop/develop_env/hadoop-2.7.1/data/*  ha2:/home/hadoop/develop_env/hadoop-2.7.1/data
##也可以這樣，在ha2上執行 hdfs namenode  -bootstrapStandby 命令

4、格式化ZKFC(在ha1上執行即可)

hdfs zkfc -formatZK

5、啟動HDFS(在ha1上執行)

sbin/start-dfs.sh

6、啟動YARN在ha3上執行

(#####注意#####：是在ha3上執行start-yarn.sh，把namenode和resourcemanager分開是因為效能問題，因為他們都要佔用大量資源，所以把他們分開了，他們分開了就要分別在不同的機器上啟動)

sbin/start-yarn.sh
#此命令只能啟動ha3上的resourceManager     而ha4上的resourceManager需要手動啟動一下
yarn-daemon.sh start resourcemanager

7、驗證HDFSHA

#首先向hdfs上傳一個檔案
hadoopfs -put /etc/profile /profile
hadoopfs -ls /

#然後再kill掉active的NameNode
kill -9 <pid of NN>

#通過瀏覽器訪問：http://192.168.18.172:50070
NameNode'ha2:9000' (active)

#這個時候ha2上的NameNode變成了active
#在執行命令：
hadoopfs -ls 
	#-rw-r--r--3 root supergroup 1926 2014-02-06 15:36 /profile

8、上述啟動HA的步驟是第一次時需要執行的步驟，下面是非第一次的啟動的步驟：

  • 啟動zookeeper叢集（分別在ha5、ha6、ha7上啟動zk）

  • 啟動HDFS(在ha1上執行)

sbin/start-dfs.sh

啟動YARN在ha3上執行；ha4上的resourceManager需要手動啟動

sbin/start-yarn.sh

#手動啟動那個掛掉的NameNode
sbin/hadoop-daemon.sh start namenode

#通過瀏覽器訪問：http://192.168.18.171:50070
#NameNode'ha1:9000' (standby)
#驗證YARN：
#執行一下hadoop提供的demo中的WordCount程式：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /wordcount/output

9、測試叢集工作狀態的一些指令：

bin/hdfs dfsadmin -report #檢視hdfs的各節點狀態資訊
bin/hdfs haadmin -getServiceState nn1 #獲取一個namenode節點的HA狀態
sbin/hadoop-daemon.sh start namenode #單獨啟動一個namenode程序
./hadoop-daemon.sh start zkfc #單獨啟動一個zkfc程序

相關推薦

Hadoop HA叢集配置

目錄 叢集規劃 安裝步驟 2.1解壓 ​ ha5 ​ ha6 ​ ha7 ​ 一、 基礎配置 建立7臺機器

生產環境下hadoop HA叢集及Hbase HA叢集配置

一、環境準備作業系統版本：centos7 64位hadoop版本：hadoop-2.7.3hbase版本：hbase-1.2.41、機器及角色IP角色192.168.11.131NamenodeDFSZKFailoverControllerResourceManagerJob

使用3臺虛擬機器搭建Hadoop HA叢集（1）

系列部落格目錄連結：Hadoop權威指南學習筆記：總章 基礎環境搭建：使用3臺虛擬機器搭建Hadoop HA叢集（1） HA環境搭建：使用3臺虛擬機器搭建Hadoop HA叢集（2） 工欲善其事，必先利其器，要學好大資料，就必須首先學會自己動手

使用3臺虛擬機器搭建Hadoop HA叢集（2）

系列部落格目錄連結：Hadoop權威指南學習筆記：總章 基礎環境搭建：使用3臺虛擬機器搭建Hadoop HA叢集（1） HA環境搭建：使用3臺虛擬機器搭建Hadoop HA叢集（2） 本部分包含以下基本分內容 安裝部署zookeeper

基於zookeeper的高可用Hadoop HA叢集安裝

1.Hadoop叢集方式介紹     1.1 hadoop1.x和hadoop2.x都支援的namenode+secondarynamenode方式          優點：搭建環境簡單，適合開發者模式下除錯程式          缺點：namenode作為很重

虛擬機器CentOS 7.5.1804下無外網Hadoop HA叢集安裝

網上有很多Hadoop HA叢集安裝的資料，我當時安裝也是參考了官方文件和這些資料才安裝成功的。由於使用的環境和軟體版本可能有所不同，且因工作環境網路所限無法連線外網，加之記錄一下自己的安裝過程，不枉花費時間來研究Hadoop環境的搭建，故作此文章。 一、叢集架構表

關於Hadoop-HA的配置---從零開始

寫在文前，可能我說的有不對的地方，希望各位老鳥批評指正，本著虛心接受的態度分享這篇文章！ 關於hadoop-ha大家配置的時候可能會遇到這樣或者那樣的報錯，實在很讓人頭疼，因為操作有點多，也很多人不知道到底要執行的步驟順序，今天給大家分享一下自己的愚見，我的hadoop是2

Hadoop-HA叢集啟動後兩個namenode都是standby問題。

日誌：WARN org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer: Unable to trigger a roll of the active NNorg.apache.hadoop.ipc.RemoteExce

hadoop HA叢集搭建

第一步：由於Hdoop HA叢集中沒有SecondaryNameNode 因此要先刪除hadoop目錄下的masters檔案在所有機器上輸入rm -rf /usr/local/hadoop/masters第二步：刪除之前的非高可用hadoop叢集產生的資料檔案第三步：在mas

大資料之五 hadoop HDFS HA叢集客戶端+eclipse配置

首先我們選擇一臺客戶機，任意選擇，只要能與叢集通訊即可，這裡就使用真機 將叢集中配置好的 hadoop 安裝包拷貝到真機上 配置 hadoop 的環境變數 HADOOP_HOME：hadoop安裝包的位置 HADOOP_USER_NAME：登入叢集的使用者名稱稱，只要是可以登入叢集的使用者名稱就可以，這裡配

Hadoop(25)-高可用叢集配置,HDFS-HA和YARN-HA

一. HA概述 1. 所謂HA（High Available），即高可用（7*24小時不中斷服務）。 2. 實現高可用最關鍵的策略是消除單點故障。HA嚴格來說應該分成各個元件的HA機制：HDFS的HA和YARN的HA。 3. Hadoop2.0之前，在HDFS叢集中NameNode存在單點故障（SPOF

Hadoop叢集之Hive HA 安裝配置

Hive是基於Hadoop構建的一套資料倉庫分析系統，它提供了豐富的SQL查詢方式來分析儲存在Hadoop 分散式檔案系統中的資料。其在Hadoop的架構體系中承擔了一個SQL解析的過程，它提供了對外

Hadoop的HA機制(Zookeeper叢集+Hadoop叢集)配置記錄

博主：hadoop_version=2.4.1 java_version=1.7 zooKeeper_version=3.4.5 Linux =CentOs 6.5 1.首先說明HA是什麼？

ZooKeeper+Hadoop的ResourceManager HA叢集高可用配置

1.修改Linux主機名 2.修改IP 3.修改主機名和IP的對映關係 注意######如果你們公司是租用的伺服器或是使用的雲主機（如華為用主機、阿里雲主機等） /etc/hosts裡面要配置的是內網IP地址和主機名的對映關係 4.關閉防火牆 5

Hadoop 2.7.2 HA 自動切換高可用叢集配置詳解

1、叢集節點規劃 NameNode node1 node2 DataNode node1 node2 node3 JournalNode node1 node2 node3 zookeeper node1 node2 node3 node1:172.16.73.143

Hadoop-HA配置詳細步驟

eno col ice nbsp 版本 files tab des frame 1. HA服務器配置 對hdfs做高可用 1.1服務器詳情 服務器：centos7 Hadoop:2.6.5 Jdk:1.8 共四臺服務器 192.168.1.111 node1 192

結合ZooKeeper配置Hadoop HA

led config cati class log val name ima img 參考官方文檔 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabili

Hadoop 2.5.2 HDFS HA+YARN HA 應用配置

大數據 hadoop 一：所需安裝配置包 二：CentOS6.4x64 主機名配置 三：journalnode 配置zookeeper 安裝 四：在namenode節點上部署hadoop 2.5.2 五：hadoop 集群的測試： 一：所需安裝配置包 系統：CentOS 6.4 X64 軟件

生產環境下hadoop HA集群及Hbase HA集群配置

自動切換 value 下載 shared 第一次 borde sla com 結果 一、環境準備操作系統版本：centos7 64位hadoop版本：hadoop-2.7.3hbase版本：hbase-1.2.41、機器及角色IP角色192.168.11.131Nameno

[大資料] hadoop HA 配置

前提：已經通過上一篇的環境配置好了zookeeper環境 1 叢集規劃 bigdata01.com bigdata02.com bigdata02.com namenode n