2. 程式人生 > >hadoop叢集搭建HDFS、HA、 YARN

hadoop叢集搭建HDFS、HA、 YARN

阿新 • • 發佈：2019-01-06

hadoop2.0已經發布了很多穩定版本，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.7.2又增加了YARN HA

1、環境準備

修改主機名、IP地址。這些在之前部落格有提過就不再寫了。
配置IP地址和主機名對映關係。
sudo vi /etc/hosts

這裡寫圖片描述

叢集規劃：
主機名 IP 安裝的軟體 執行的程序
spark01 192.168.2.201 jdk、hadoop NameNode、 DFSZKFailoverController(zkfc)
spark02 192.168.2.202 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
spark03 192.168.2.203 jdk、hadoop ResourceManager
spark04 192.168.2.204 jdk、hadoop ResourceManager
spark05 192.168.2.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
spark06 192.168.2.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
spark07 192.168.2.207 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

2、安裝zookeeper叢集在spark05-07上

3、安裝配置hadoop叢集（在spark01上操作）

3.1 解壓
tar -zxvf hadoop-2.7.2.tar.gz -C /app/
這裡寫圖片描述
3.2 配置HDFS（hadoop2.0所有的配置檔案都在HADOOP_HOME/etc/hadoop目錄下）  
        #將hadoop新增到環境變數中  
        sudo vi /etc/profile  
        export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91  
        export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.2  
        export PATH=

JAVA_HOME/bin:PATH:HADOOP_HOME/bin
export CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/tools.jar

#hadoop2.0的配置檔案全部在$HADOOP_HOME/etc/hadoop下
        cd /home/hadoop/app/hadoop-2.7.2/etc/hadoop

要修改的配置檔案

a、修改hadoo-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
這裡寫圖片描述

b、修改core-site.xml

     <configuration>
            <!-- 指定hdfs的nameservice為ns1 -->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ns1/</value>
            </property>
            <!-- 指定hadoop臨時目錄 -->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.7.2/tmp</value>
            </property> 
            <!-- 指定zookeeper地址 -->
            <property>
                <name>ha.zookeeper.quorum</name>
               <value>spark05:2181,spark06:2181,spark07:2181</value>
            </property>
        </configuration>

這裡寫圖片描述

c、修改hdfs-site.xml

<configuration>
    <!--指定hdfs的nameservice為ns1，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <!-- ns1下面有兩個NameNode，分別是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通訊地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>spark01:9000</value>
    </property>
    <!-- nn1的http通訊地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>spark01:50070</value>
    </property>
    <!-- nn2的RPC通訊地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>spark02:9000</value>
    </property>
    <!-- nn2的http通訊地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>spark02:50070</value>
    </property>
    <!-- 指定NameNode的元資料在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://spark05:8485;spark06:8485;spark07:8485/ns1</value>
    </property>
    <!-- 指定JournalNode在本地磁碟存放資料的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/hadoop/app/hadoop-2.7.2/journaldata</value>
    </property>
    <!-- 開啟NameNode失敗自動切換 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- 配置失敗自動切換實現方式 -->
    <property>                      <name>dfs.client.failover.proxy.provider.ns1</name>                     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence
                shell(/bin/true)
        </value>
    </property>
    <!-- 使用sshfence隔離機制時需要ssh免登陸 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <!-- 配置sshfence隔離機制超時時間 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

這裡寫圖片描述

d、修改mapred-site.xml

先執行：[[email protected] hadoop]$ mv mapred-site.xml.template mapred-site.xml

<configuration>
    <!-- 指定mr框架為yarn方式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

這裡寫圖片描述

e、修改yarn-site.xml

<configuration>
    <!-- 開啟RM高可用 -->
    <property>                      <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!-- 分別指定RM的地址 -->
    <property>                         <name>yarn.resourcemanager.hostname.rm1</name>
       <value>spark03</value>
        </property>
    <property>                     <name>yarn.resourcemanager.hostname.rm2</name>
         <value>spark04</value>
    </property>
    <!-- 指定zk叢集地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>                           <value>spark05:2181,spark06:2181,spark07:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

這裡寫圖片描述

f、修改slaves(slaves是指定子節點的位置，因為要在spark01上啟動HDFS、在spark03啟動yarn，所以spark01上的slaves檔案指定的是datanode的位置，spark03上的slaves檔案指定的是nodemanager的位置)
spark05
spark06
spark07
無金鑰登入：
首先要配置spark01到spark02、spark03、spark04、spark05、spark06、spark07的免密碼登陸
這裡寫圖片描述

[[email protected] ~]ssh−keygen−trsa生成密鑰[hadoop@hadoop01] ssh-copy-id spark01
[[email protected] ~]ssh−copy−idspark02[hadoop@hadoop01] ssh-copy-id spark05
[[email protected] ~]ssh−copy−idspark06[hadoop@hadoop01] ssh-copy-id spark07
我在這裡就只截一張圖了
這裡寫圖片描述

配置spark03——》spark5-7的無金鑰登入
同上述步驟在03中執行：ssh-keygen -t rsa
這裡寫圖片描述

[[email protected] ~]ssh−copy−idspark05[hadoop@hadoop01] ssh-copy-id spark06
[[email protected] ~]$ ssh-copy-id spark07

g、再將spark01中配置好的hadoop環境拷貝到其他機器上
scp -r hadoop-2.7.2/ spark02:/home/hadoop/app/
自己依次拷貝2-7都要拷貝過去，這樣整個hadoop叢集環境就部署完成了。接下來就是啟動與測試叢集。

4、啟動與測試

嚴格按照以下步驟完成啟動任務：
1、啟動zookeeper叢集（分別在spark05、spark06、spark07上啟動zk）
cd /weekend/zookeeper-3.4.8/bin/
./zkServer.sh start
#檢視狀態：一個leader，兩個follower
./zkServer.sh status
2、啟動journalnode（分別在在spark05、spark06、spark07上執行）
cd /weekend/hadoop-2.7.2/sbin
sbin/hadoop-daemon.sh start journalnode
#執行jps命令檢驗，weekend05、weekend06、weekend07上多了JournalNode程序
這裡寫圖片描述
3、格式化HDFS
#在spark01上執行命令:
hdfs namenode -format
#格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個檔案，這裡我配置的是/hadoop/hadoop-2.7.2/tmp，然後將/weekend/hadoop-2.4.1/tmp拷貝到hadoop02的/weekend/hadoop-2.7.2/下。
scp -r tmp/ hadoop02:/home/hadoop/app/hadoop-2.7.2/
##也可以這樣，建議hdfs namenode -bootstrapStandby
這裡寫圖片描述
4、格式化ZKFC(在hadoop【spark】01上執行即可)
hdfs zkfc -formatZK

5、啟動HDFS(在hadoop【spark】01上執行)
sbin/start-dfs.sh
這裡寫圖片描述
6、啟動YARN(#####注意#####：是在spark03上執行start-yarn.sh，把namenode和resourcemanager分開是因為效能問題，因為他們都要佔用大量資源，所以把他們分開了，他們分開了就要分別在不同的機器上啟動)
sbin/start-yarn.sh

7、在瀏覽器中檢視nanenode
這裡寫圖片描述
這裡寫圖片描述

8、驗證HDFS HA
首先向hdfs上傳一個檔案
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然後再kill掉active的NameNode
kill -9
通過瀏覽器訪問：http://192.168.1.202:50070
NameNode ‘hadoop02:9000’ (active)
這個時候weekend02上的NameNode變成了active
這裡寫圖片描述

在執行命令：
hadoop fs -ls /
-rw-r–r– 3 root supergroup 1926 2014-02-06 15:36 /profile
剛才上傳的檔案依然存在！！！
手動啟動那個掛掉的NameNode
sbin/hadoop-daemon.sh start namenode
通過瀏覽器訪問：http://192.168.1.201:50070
NameNode ‘hadoop01:9000’ (standby)
驗證YARN：
執行一下hadoop提供的demo中的WordCount程式：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

到此為止所有的配置都完成了！

相關推薦

hadoop叢集搭建HDFS、HA、 YARN

hadoop2.0已經發布了很多穩定版本，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.7.2又增加了YARN HA 1、環境準備 修改主機名、IP地址。這些在之前部落格有提過就不再寫了。 配置IP地址和主機名對映關係。 sud

Hadoop叢集搭建(HDFS和Yarn叢集)

hadoop叢集搭建(HDFS和Yarn叢集) 1.安裝hadoop2.7.4 上傳hadoop的安裝包到伺服器 hadoop-2.7.4-with-centos-6.7.tar.gz 解壓安裝包 tar zxvf hadoop-2.7.4-wit

Hadoop 叢集之HDFS HA、Yarn HA

部署叢集的原因 如果我們採用單點的偽分散式部署，那麼NN節點掛了，就不能對外提供服務。叢集的話，存在兩個NN節點，一個掛了，另外一個從standby模式直接切換到active狀態，實時對外提供服務（讀寫）。在生產上，避免出現對外服務中斷的情況，所以會考慮採用叢集部署。 HDFS HA

Hadoop 叢集之HDFS HA、Yarn HA

部署叢集的原因 如果我們採用單點的偽分散式部署，那麼NN節點掛了，就不能對外提供服務。叢集的話，存在兩個NN節點，一個掛了，另外一個從standby模式直接切換到active狀態，實時對外提供服務（讀寫）。在生產上，避免出現對外服務中斷的情況，所以會考慮採用叢集

阿里雲搭建hadoop叢集伺服器，內網、外網訪問問題（詳解。。。）

　　這個問題花費了我將近兩天的時間，經過多次是錯和嘗試，現在想分享給大家來解決此問題避免大家入坑，以前都是在區域網上搭建的hadoop叢集，並且是區域網訪問的，沒遇見此問題。 因為阿里雲上搭建的hadoop叢集，需要配置對映叢集經過內網訪問，也就是區域網的ip地址。 　　如果配置為公網IP地址，就會出現叢

一鍵配置高可用Hadoop叢集（hdfs HA+zookeeper HA）

準備環境 3臺節點，主節點 建議 2G 記憶體，兩個從節點 1.5G記憶體， 橋接網路    關閉防火牆 配置ssh，讓節點之間能夠相互 ping 通 準備  軟體放到 autoInstall  目錄下，已存放 hadoop-2.9.0.tar.g

redis叢集搭建（同機器、不同機器搭建）

一、同機器下的叢集搭建：       1，建立redis例項統一存放的資料夾——在/usr/local路徑下建立cluster資料夾，命令：mkdir cluster                 2，建立每個例項單獨存放的資料夾——在cluster資料夾下建立6個

HDFS環境搭建（單節點配置） hadoop叢集搭建（hdfs）

【參考文章】：hadoop叢集搭建（hdfs） 1. Hadoop下載 　　官網下載地址： 　　https://hadoop.apache.org/releases.html，進入官網根據自己需要下載具體的安裝包 　　清華大學安裝包的映象檔案下載地址： 　　https://mirrors.tuna.

Hadoop---Java實現HDFS的新增、刪除、上傳、下載功能

Java實現HDFS的新增、刪除、上傳、下載功能     package com.kevin.hdfs; import java.io.File; import java.io.FileOutputStream; import java.io.IOExcepti

ubuntu 虛擬機器 完全分散式 hadoop叢集搭建 hive搭建 ha搭建

針對分散式hadoop叢集搭建，已經在四臺虛擬機器上，完全搭建好，這裡針對整個搭建過程以及遇到的問題做個總結，按照下面的做法應該能夠比較順暢的搭建一套高可用的分散式hadoop叢集。 這一系列分散式元件的安裝過程中，大體可以分為以下幾步： 第一步.配置機器互信    機器互

Hadoop叢集搭建-04安裝配置HDFS

Hadoop叢集搭建-03編譯安裝hadoop Hadoop叢集搭建-02安裝配置Zookeeper Hadoop叢集搭建-0

Hadoop叢集搭建-05安裝配置YARN

Hadoop叢集搭建-04安裝配置HDFS  Hadoop叢集搭建-03編譯安裝hadoop Hadoop叢集搭建-

Hadoop----叢集搭建指南（下卷）

前言 什麼是Hadoop? Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framewor

Hadoop----叢集搭建指南（中卷）

前言 本文的搭建基於上卷的配置，環境不再一一贅述。網路配置好的5臺節點均可相互ping通，對於節點hadoop1(192.168.20.2)可以ping同其餘四臺hadoop2(192.168.20.3)、hadoop3(192.168.20.4)、hadoop4(192.16

Hadoop----叢集搭建指南（上卷）

前言 閱讀本文，需要具備Linux、計算機網路的基礎知識。所以在文中出現的相關基礎知識，均以連結的形式給出，務必理解該連結的內容後，繼續閱讀本指南。 叢集搭建的環境多種多樣，本文采用VitualBox安裝5臺虛擬機器構建叢集。具體環境： CentOS 6.5 6

CentOS7下靜態ip地址分配（Hadoop叢集搭建）

作業系統是CentOS 在搭建Hadoop過程中，發現每一次啟動虛擬機器，ip地址就會變化。 這是由於一開始安裝CentOS的時候，有一個自動連線乙太網，他會自動給你分配ip地址，但是我們往往需要的是另一個。 首先看我的主機對映， 可以看到131，132,133 對應是，主機，

hadoop叢集搭建（docker）

背景 　　　　目前在一家快遞公司工作，因專案需要，對大資料平臺做個深入的瞭解。工欲利其器必先利其器，在網上找了許多教程，然後自己搭建一個本地的環境並記錄下來，增加一些印象。 環境搭建 1）Ubuntu   docker pull ubuntu:16.04 docker images&nb

Hadoop叢集搭建以及遇到問題詳解

轉載：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ centos7單機、分散式、偽分佈：https://blog.csdn.net/qq_40938267/article/details/83416665  有詳細的搭建過程

分散式系統詳解--框架（Hadoop-叢集搭建）

                 分散式系統詳解--框架（Hadoop-叢集搭建）        前面的文章也簡單介紹了，hadoop的環境搭建分為三種，單機版，偽分

ssh無密登入配置詳解（hadoop叢集搭建）

ssh無密登入原理 注：私鑰和公鑰是每個使用者獨有的，而不是機器或者伺服器的，比如一臺電腦或者伺服器或者虛擬機器，可以同時存在多個使用者，但不同使用者需要遠端登入其他伺服器或者虛擬機器時，都必須配置各自的私鑰和公鑰，而且使用者之間的各不相同 常用命令 ssh ip(遠端登入也可