2. 程式人生 > >Hadoop----叢集搭建指南（下卷）

Hadoop----叢集搭建指南（下卷）

阿新 • • 發佈：2018-11-01

前言

什麼是Hadoop?

Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framework transparently provides applications both reliability and data motion. Hadoop implements a computational paradigm named Map/Reduce, where the application is divided into many small fragments of work, each of which may be executed or re-executed on any node in the cluster. In addition, it provides a distributed file system (HDFS) that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both MapReduce and the Hadoop Distributed File System are designed so that node failures are automatically handled by the framework.

本文是用於搭建hadoop叢集的學習性文章，主要對hadoop的一些基礎知識進行解釋，中間穿插著hadoop的安裝配置過程。

環境問題：

  • 系統：Centos 6.5 64位 minamal版本
  • hadoop版本：2.7.1
  • java版本：1.8

可能不具備通用性，僅供參考。

安裝概覽

安裝完系統，調通叢集內的網路（ssh）,配置好java環境，再進行hadoop的安裝。

安裝hadoop時，集中精力配置namenode節點這一臺機器，修改相關的配置檔案，然後使用同步檔案（scp）到其他機器上去，hadoop叢集搭建即可完成。

值得一提，叢集間必須網路通暢，否則無法完成分散式部署。有關問題參見—-叢集搭建指南（中卷）。

另外，在生成環境中，hadoop的安裝均在普通賬戶下（比如：deploy）完成。所以，新手請注意將java及hadoop安裝在開發賬戶下（是deploy賬戶的話，位置一般是：/home/deploy/jdk1.8.0_111, /home/deploy/hadoop-2.7.1）。再通過修改賬戶目錄下的 ~/.bash_profile檔案修改環境變數。

安裝步驟

對於5個節點的叢集（hadoop1-hadoop5），配置節點hadoop1即可。hadoop叢集有很多特性，這裡僅設定低配版的hadoop,不新增太多配置屬性值，以減輕學習壓力。

This document does not cover advanced topics such as Security or High Availability.

儘管只新增部分屬性值，也需要配7個檔案：

  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
  • hadoop-env.sh
  • yarn-env.sh
  • slaves

7個檔案的解釋，參見:hadoop基礎知識->1. 配置檔案說明。

配置前，假設是:

  • 在deploy賬戶下進行配置
  • hadoop檔案在：/home/deploy/hadoop-2.7.1/
  • java檔案在：/home/deploy/jdk1.8.0_111

在/home/deploy/hadoop-2.7.1/目錄下，新建資料夾：tmp, hdfs, hdfs/data, hdfs/name

完成後，檔案結構是這樣：

這裡寫圖片描述

接下來準備配置，如果在配置過程中發現沒有該檔案，可以自己新建。如果檔案已有內容，可以全部刪除/註釋，然後新增下述配置。另外，本節給出的多有示例配置的埠都可自己定義，不必追求一致。

core-site.xml

命令：vi /home/deploy/hadoop-2.7.1/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9091</value>
        <final>true</final>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/deploy/hadoop-2.7.1/tmp</value>
        <description>Abasefor oteh temporary directories.</description>
    </property>
</configuration>

hdfs-site.xml

命令：vi /home/deploy/hadoop-2.7.1/etc/hadoop/hdfs-site.xml

<configuration>
    <!--配置NameNode-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/deploy/hadoop-2.7.1/hdfs/name</value>
    </property>

    <!--配置DataNode-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/deploy/hadoop-2.7.1/hdfs/data</value>
    </property>

    <!--配置Secondary Namenode -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop1:9095</value>
    </property>

    <!--修改預設的HDFS配置-->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

</configuration>

yarn-site.xml

命令：vi /home/deploy/hadoop-2.7.1/etc/hadoop/yarn-site.xml

<configuration>
    <!--下述配置NodeManger-->
    <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
    </property>
    <property>
         <name>yarn.nodemanager.resource.memory-mb</name>
         <value>1024</value>
    </property>
    <property>
         <name>yarn.nodemanager.resource.cpu-vcores</name>
         <value>1</value>
    </property>

    <!--下述配置ResourceManager -->    
    <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>hadoop1:9099</value>
    </property>
    <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>hadoop1</value>
    </property>
</configuration>

mapred-site.xml

命令：vi /home/deploy/hadoop-2.7.1/etc/hadoop/mapred-site.xml

<configuration>
    <!--配置MaoReduce應用-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

hadoop-env.sh

命令：vi /home/deploy/hadoop-2.7.1/etc/hadoop/hadoop-env.sh

找到export JAVA_HOME的地方，將原來的內容註釋，換成：
export JAVA_HOME=/home/deploy/jdk1.8.0_111

yarn-env.sh

命令：vi /home/deploy/hadoop-2.7.1/etc/hadoop/yarn-env.sh

找到export JAVA_HOME的地方，將原來的內容註釋，換成：
export JAVA_HOME=/home/deploy/jdk1.8.0_111

slaves

命令：vi /home/deploy/hadoop-2.7.1/etc/hadoop/slaves

新增你所有datanode節點的hostname,假設有5個節點，名稱是hadoop1-5(hadoop1作為namenode),則新增內容：

hadoop2
hadoop3
hadoop4
hadoop5

啟動hadoop叢集

配置完所有的檔案，在該機器（假設是hadoop1）上使用scp命令到其他4臺機器上。
命令：

scp -r /home/deploy/hadoop-2.7.1/*  deploy@hadoop2:/home/deploy/hadoop-2.7.1/
scp -r /home/deploy/hadoop-2.7.1/*  deploy@hadoop3:/home/deploy/hadoop-2.7.1/
scp -r /home/deploy/hadoop-2.7.1/*  deploy@hadoop4:/home/deploy/hadoop-2.7.1/
scp -r /home/deploy/hadoop-2.7.1/*  deploy@hadoop5:/home/deploy/hadoop-2.7.1/

這樣叢集的配置檔案就都一樣了。然後,在hadoop1上執行命令，將叢集格式化成一個分散式檔案系統，執行：/home/deploy/hadoop-2.7.1/bin/hdfs namenode -format

（注：該命令只能執行一次，多次執行的話，需清空前一次執行產生的hdfs/data/、hdfs/name/和tmp/資料夾下生成的檔案。但是這樣，老叢集的資料就會丟失。相關問題已網上的解答為準。）

接下來啟動叢集：
bash /home/deploy/hadoop-2.7.1/sbin/start-all.sh

檢視相關的UI Web介面：
這裡寫圖片描述

按這裡的配置，Namenode程式的視覺化介面在hadoop1:50070/(使用的預設埠）,如圖：

這裡寫圖片描述

Secondery Namenode程式的視覺化介面在hadoop1:9095/（使用的自定義埠）, 如圖：
這裡寫圖片描述

ResourceManager程式的視覺化介面在hadoop1:9099/（使用的自定義埠），如圖：
這裡寫圖片描述

最後，關閉叢集：bash /home/deploy/hadoop-2.7.1/sbin/stop-all.sh

hadoop基礎知識

1. 配置檔案說明

簡單的配置無安全性的hadoop叢集，需要修改：

  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
  • hadoop-env.sh
  • yarn-env.sh
  • slaves

這7個檔案均在同一目錄：hadoop安裝包名/etc/hadoop/。

To configure the Hadoop cluster you will need to configure the environment in which the Hadoop daemons execute as well as the configuration parameters for the Hadoop daemons.

Hadoop由HDFS、Yarn、MapReduce等組成，hadoop的後臺程式，其實就是他們的後臺程式。

HDFS後臺程式有NameNode,SecondaryNode和DataNode。YARN後臺程式有ResourceManager,NodeManager和WebAppProxy。如果MapReduce框架被啟用了，MapReduce Job History Server將會執行。（安裝完hadoop後，使用jps命令可以看到這些後臺程式的名稱。）

1.1 配置hadoop後臺程式的環境

管理員可以使用hadoop-env.sh，也可選擇性使用mapred-env.sh和yarn-env.sh指令碼定製haddoop後臺程式的環境。

至少，必須指定JAVA_HOME，以確保正確定義每一個遠端節點。

可以配置的選擇，在下圖：
這裡寫圖片描述

1.2 配置hadoop後臺程式

這部分處理在給定的配置檔案中需要被指定的重要引數。

  • etc/hadoop/core-site.xml

這裡寫圖片描述

  • etc/hadoop/hdfs-site.xml

配置NameNode:

這裡寫圖片描述

配置DataNode:

這裡寫圖片描述

  • etc/hadoop/yarn-site.xml

配置ResourceManager和NodeManager：

這裡寫圖片描述

配置ResourceManager:

這裡寫圖片描述

配置NodeManager:

這裡寫圖片描述

配置History Server:

這裡寫圖片描述

配置NodeManagers的健康監控：

這裡寫圖片描述

  • etc/hadoop/mapred-site.xml

配置MapReduce應用：

這裡寫圖片描述

配置MapReduce JobHistory Server:
這裡寫圖片描述

  • slaves

List all slave hostnames or IP addresses in your etc/hadoop/slaves file, one per line. Helper scripts (described below) will use the etc/hadoop/slaves file to run commands on many hosts at once. It is not used for any of the Java-based Hadoop configuration. In order to use this functionality, ssh trusts (via either passphraseless ssh or some other means, such as Kerberos) must be established for the accounts used to run Hadoop.

2. Hadoop Map/Reduce框架

2.1 Programming model and execution framework

Map/Reduce是一種程式設計正規化，用於將大型分散式計算表達為對鍵/值對資料集的分散式操作序列。Hadoop Map/Reduce框架利用一組機器，並在叢集中的所有節點上執行使用者定義的Map/Reduce作業。一個Map/Reduce計算包含兩個階段：map階段和reduce階段。

這裡寫圖片描述

在map階段，框架將輸入資料集拆分為大量片段，並將每個片段分配給map任務。框架還在其操作的節點叢集上分佈許多map任務。每個map任務從其分配的片段消耗鍵/值對，併產生一組中間鍵/值對。 對於每個輸入的鍵/值對（K,V），map任務將呼叫戶自定義的map函式。該函式將輸入變換為不同的鍵/值對(K’,V’)。

map階段過後，Map/Reduce框架通過鍵對中間資料集進行排序，併產一組（K‘,V’*）元組，使得與特定鍵相關聯的所有值一起出現。它還將元組的集合（這組（K’,V’）元組）分割成等於reduce任務的數目的多個片段。

在reduce階段，每個reduce任務消耗分配給他的（K’,V’*）元組的片段。對於每個這樣的元組，它呼叫使用者自定義的reduce函式，其將元組變換為輸出值鍵/值對(K,V)。框架又一次在節點叢集上分配許多reduce任務，並處理將合適的中間資料片段運送到每個reduce任務的事情。

這裡寫圖片描述

關於hadoop的任務（tasks），有三個特點:

  • 每個階段的任務以容錯方式（a fault-tolerant manner）執行，如果節點（多個節點）在計算中間失敗，則分配給它（它們）的任務在其餘節點之間重新分佈
  • 任務較多（有許多map和reduce）時，能夠實現良好的負載平衡
  • 允許失敗的任務以最小的執行時間開銷重新執行

2.2 Architecture

Hadoop Map/Reduce框架是主(master)/從(slave)架構。它有一個主伺服器或jobtracker和幾個從伺服器或tasktrackers。jobtracker是使用者和框架之間的互動點。使用者向jobtracker提交map/reduce作業，將作業（job/jobs）放在待處理作業的佇列中，並按先到先服務（first-come/first-served）的方式執行。jobtracker管理map和reduce任務到tasktracker的分配。tasktracker根據jobtracker的指令執行任務，並處理map和reduce階段之間的資料移動。

2.3 Map/Reduce框架小結

網上有很多以上原理的過程圖，在hadoop官網上沒有找到，但言語上描述的相當清楚。如有需求，自行網上找圖。

3. Hadoop DFS

3.1 介紹

Hadoop的分散式檔案系統旨在：能夠在跨大型叢集中的機器上可靠地儲存非常大的檔案。它的靈感來自Google檔案系統。Hadoop DFS將每個檔案儲存為一個塊序列，檔案中除最後一個塊之外的所有塊都具有相同的大小。屬於檔案的塊將被複制以實現容錯。塊大小（block size）和複製因子(replication factor)可以按檔案配置。HDFS中的檔案是“一次寫入”，並且在任何時間都有一個寫入程式。

3.2 Architecture

像Hadoop Map/Reduce一樣，HDFS遵循主/從架構。HDFS的安裝包含一個Namenode,即一個主伺服器，用於管理檔案系統名稱空間並控制客戶端對檔案的訪問。此外，還有一些Datanodes,管理儲存附加到他們執行的節點。Namenode進行檔案系統名稱空間操作，例如：通過RPC介面開啟、關閉、重新命名等檔案和目錄。它還確定塊（block）到Datanodes的對映。Datanodes負責從檔案系統客戶端提供讀取和寫入請求，它們還根據Namenode的指令執行塊建立、刪除和複製。

這裡寫圖片描述

結語

筆者目前是資料倉庫、Python、Hadoop的技術棧，以前是一名前端開發人員。2年開發經驗，還有許多要學習的地方。有興趣和我一起提高IT技術的同學，歡迎加入微信群–小谷的IT圈。掃碼進入：

這裡寫圖片描述

參考資料

相關推薦

Hadoop----叢集搭建指南（下卷）

前言 什麼是Hadoop? Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framewor

Hadoop----叢集搭建指南（上卷）

前言 閱讀本文，需要具備Linux、計算機網路的基礎知識。所以在文中出現的相關基礎知識，均以連結的形式給出，務必理解該連結的內容後，繼續閱讀本指南。 叢集搭建的環境多種多樣，本文采用VitualBox安裝5臺虛擬機器構建叢集。具體環境： CentOS 6.5 6

Hadoop----叢集搭建指南（中卷）

前言 本文的搭建基於上卷的配置，環境不再一一贅述。網路配置好的5臺節點均可相互ping通，對於節點hadoop1(192.168.20.2)可以ping同其餘四臺hadoop2(192.168.20.3)、hadoop3(192.168.20.4)、hadoop4(192.16

Hadoop叢集搭建教程（詳細）

需要的安裝包：    1.jdk壓縮包    2.hadoop壓縮包請前往百度雲上上下載相關安裝包(密碼：8op1)開始搭建hadoop叢集一.使用VMvare建立兩個虛擬機器，我使用的是ubuntu16.04版本的,並關閉全部虛擬機器的防火牆        1.因為預設的虛

Hadoop叢集jdk安裝（Linux）

：在完全分佈模式的整合平臺中進行jdk的安裝 ：實驗環境 ①：個人PC機1臺，裝有VMware workstations12Pro。 ②：虛擬機器中安裝5臺CentOS 7作業系統， ③：每臺主機記憶體2g以上，磁碟50g。 ④：主機之間有效的網路連線。

Redis 3.0叢集搭建測試（一）

Redis3.0 最大的特點就是有了cluster的能力，使用redis-trib.rb工具可以輕鬆構建Redis Cluster。Redis Cluster採用無中心結構，每個節點儲存資料和整個叢集狀態,每個節點都和其他所有節點連線。節點之間使用gossip協議傳播資訊以

Redis 3.0叢集搭建測試（二）

四、客戶端叢集命令 叢集 cluster info 列印叢集的資訊 cluster nodes 列出叢集當前已知的所有節點（node），以及這些節點的相關資訊。 節點 cluster meet <ip> <port> 將ip和port所指定的節點

【Big Data】HADOOP叢集的配置（一）

摘要: hadoop叢集配置系列文件，是筆者在實驗室真機環境實驗後整理而得。以便隨後工作所需，做以知識整理，另則與部落格園朋友分享實驗成果，因為筆者在學習初期，也遇到不少問題。但是網上一些文件大多互相抄襲，裡面錯誤百出。筆者結合自學書籍視訊等資料，完成這一套配置資料。實驗結果和過程經過反覆測試無誤後方

【Big Data】HADOOP叢集的配置（二）

摘要: hadoop叢集配置系列文件，是筆者在實驗室真機環境實驗後整理而得。以便隨後工作所需，做以知識整理，另則與部落格園朋友分享實驗成果，因為筆者在學習初期，也遇到不少問題。但是網上一些文件大多互相抄襲，裡面錯誤百出。筆者結合自學書籍視訊等資料，完成這一套配置資料。實驗結果和過程經過反覆測試無誤

MySQL叢集搭建方案（PXC）

> 伺服器快過期了，清一點庫存，把運維這塊的知識複習下 ## 為什麼要搭MySQL叢集 技術層面上，傳統的單節點資料庫，萬一宕機了，就涼涼了。容災效能差、抗併發能力有限，資料量大的時候查詢有瓶頸。學習層面上，作為一個技術人瞭解一些技術相關的知識那也是無可厚非，愛折騰嘛。所以、本著“不把雞蛋放在一個籃

CentOS7下靜態ip地址分配（Hadoop叢集搭建）

作業系統是CentOS 在搭建Hadoop過程中，發現每一次啟動虛擬機器，ip地址就會變化。 這是由於一開始安裝CentOS的時候，有一個自動連線乙太網，他會自動給你分配ip地址，但是我們往往需要的是另一個。 首先看我的主機對映， 可以看到131，132,133 對應是，主機，

hadoop叢集搭建（docker）

背景 　　　　目前在一家快遞公司工作，因專案需要，對大資料平臺做個深入的瞭解。工欲利其器必先利其器，在網上找了許多教程，然後自己搭建一個本地的環境並記錄下來，增加一些印象。 環境搭建 1）Ubuntu   docker pull ubuntu:16.04 docker images&nb

分散式系統詳解--框架（Hadoop-叢集搭建）

                 分散式系統詳解--框架（Hadoop-叢集搭建）        前面的文章也簡單介紹了，hadoop的環境搭建分為三種，單機版，偽分

ssh無密登入配置詳解（hadoop叢集搭建）

ssh無密登入原理 注：私鑰和公鑰是每個使用者獨有的，而不是機器或者伺服器的，比如一臺電腦或者伺服器或者虛擬機器，可以同時存在多個使用者，但不同使用者需要遠端登入其他伺服器或者虛擬機器時，都必須配置各自的私鑰和公鑰，而且使用者之間的各不相同 常用命令 ssh ip(遠端登入也可

hadoop--01（hadoop叢集搭建）

1.什麼是HADOOP？      HADOOP是apache旗下的一套開源軟體平臺，HADOOP提供的功能：利用伺服器叢集，根據使用者的自定義業務邏輯，對海量資料進行分散式處理 HADOOP的核心元件有 HDFS（分散式檔案系統）

Hadoop分散式叢集搭建方法（Version： java 1.8+CentOS 6.3）

夏天小廚 前言 大資料這個概念，說的通俗點就是對海量資料的處理分析。據不完全統計，世界百分之九十的資料都由近幾年產生，且不說海量資料的ETL，單從資料的儲存和資料展現的實時性，傳統的單機就已經無法滿足實際場景的需要例如很多OLAP系統。由此引出了Hadoop，Hadoop

hadoop 叢集搭建（詳細）

                                   hadoop 叢集搭建 一 、 前提準備

HDFS環境搭建（單節點配置） hadoop叢集搭建（hdfs）

【參考文章】：hadoop叢集搭建（hdfs） 1. Hadoop下載 　　官網下載地址： 　　https://hadoop.apache.org/releases.html，進入官網根據自己需要下載具體的安裝包 　　清華大學安裝包的映象檔案下載地址： 　　https://mirrors.tuna.

hadoop叢集搭建(一)：系統安裝（centos7+vmware12）

叢集作業系統安裝（centos7+vmware12） 環境說明 作業系統 CentOS-7-x86_64-DVD-1611下載地址：官網 虛擬機器 VMware Workstat

hadoop叢集搭建（超詳細版）

1.準備好需要安裝的軟體虛擬機器VMware12.pro作業系統CentOS 6.5遠端控制虛擬機器的終端SecureCRT8.12.在虛擬機器中安裝CentOS作業系統安裝好虛擬機器，圖形介面如下圖建立新的虛擬機器，選擇自定義（高階），點選下一步虛擬機器硬體相容性預設，瀏覽