Hadoop2.x 偽分散式環境搭建及測試驗證

作者：Dennis 日期：2018-08-09

前置條件：

Linux 虛擬機器一臺，版本為 CentOS 7.4，假設 IP 地址為 192.168.159.181，並修改如下：

1. 修改/etc/hostname 的內容為 hadoop01 說明：修改了主機名之後需要重啟才能生效。
2. 修改/etc/hosts 的內容為

    備註：配置這裡主要是想通過域名或者IP地址找到相應的機器

127.0.0.1 localhost

192.168.159.181 hadoop01

1. 已安裝好 Oracle JDK，且 JAVA_HOME 值為/usr/java/jdk1.8.0_171-amd64/jre。安裝過程可參考部落格： 
   https://blog.csdn.net/gobitan/article/details/80993354 CentOS7_64 位作業系統模板搭建

第一步：Hadoop 安裝包下載

上傳安裝包到/root 目錄

第二步：解壓 hadoop 包

[[email protected] ~]# cd /opt

[[email protected] opt]# tar zxf /root/hadoop-2.7.3.tar.gz

[[email protected] opt]# cd hadoop-2.7.3/

第三步：配置Hadoop

1. 配置 hadoop-env.sh

編輯 etc/hadoop/hadoop-env.sh，修改 JAVA_HOME 的值如下： # The java implementation to use.

export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64/jre

備註：這樣做是避免，Hadoop配置檔案中讀不到$JAVA_HOME而報錯。

1. 配置core-site.xml

  備註：hadoop公共模組基本配置檔案

編輯 etc/hadoop/core-site.xml，修改如下：

<!-- 指定HADOOP所使用的檔案系統schema（URI），HDFS的老大（NameNode）的地址 -->

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

 <!-- 指定hadoop執行時產生檔案的儲存目錄 -->

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-2.7.3/hadoop-tmp</value>

</property>

</configuration>

說明：hadoop.tmp.dir 預設值為"/tmp/hadoop-${user.name}"。Linux 作業系統重啟後，這個目錄會被清空，這可能導致資料丟失，因此需要修改。

1. 配置 hdfs-site.xml

  備註：HDFS系統的配置檔案

編輯 etc/hadoop/hdfs-site.xml，修改如下：

<!-- 指定HDFS副本的數量 -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

1. 配置 SSH 無密登入本機

在執行啟動指令碼的時候，系統會提示要輸入密碼驗證，它其實是一個遠端登入啟動指令碼的機制。

通過SSH遠端到你配置的節點上去啟動程序。即便你的節點是在本地，它也是一樣的方式。

因此當節點N多的時候，要N次以上輸入密碼驗證。為了解決這個問題，可以配置SSH免登入,

[[email protected] hadoop-2.7.3]# ssh-keygen -t rsa

[[email protected] hadoop-2.7.3]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

執行如下命令驗證 SSH 配置

[[email protected]7 hadoop-2.7.3]# ssh localhost

這個過程不需要輸入密碼了，但之前是需要的。

第四步：格式化HDFS 檔案系統

[[email protected] hadoop-2.7.3]# bin/hdfs namenode -format  如果執行成功，會在日誌末尾看到格式化成功的提示，如下：

INFO common.Storage: Storage directory /opt/hadoop-2.7.3/hadoop-tmp/dfs/name has been successfully formatted.

第五步：啟動HDFS 的NameNode 節點和 DataNode 節點

[[email protected] hadoop-2.7.3]# sbin/start-dfs.sh

Starting namenodes on [centos7]

centos7: starting namenode, logging to /opt/hadoop-2.7.3/logs/hadoop-root-namenode- centos7.out

localhost: starting datanode, logging to /opt/hadoop-2.7.3/logs/hadoop-root-datanode- centos7.out

Starting secondary namenodes [0.0.0.0]

0.0.0.0: starting secondarynamenode, logging to /opt/hadoop-2.7.3/logs/hadoop-root- secondarynamenode-centos7.out

檢視啟動的程序

[[email protected] hadoop-2.7.3]# jps

11301 SecondaryNameNode

11175 DataNode

11419 Jps

11087 NameNode [[email protected] hadoop-2.7.3]#

上面的啟動命令啟動了 HDFS 的管理節點 NameNode 和資料節點 DataNode，以及

NameNode 的輔助節點，即 SecondaryNameNode。

第六步：檢視HDFS 的NameNode 的Web 介面

http://192.168.159.181:50070

第七步：建立HDFS 目錄，以便執行 MapReduce 任務

[[email protected] hadoop-2.7.3]# bin/hdfs dfs -mkdir -p /user/root 注意：這裡的 root，如果你是其他使用者就換成相應的使用者名稱。

第八步：拷貝輸入檔案到分散式檔案系統

[[email protected] hadoop-2.7.3]# bin/hdfs dfs -put etc/hadoop input

這裡舉例拷貝et/hadoop 目錄下的檔案到HDFS 中。

檢視拷貝結果

[[email protected] hadoop-2.7.3] # bin/hdfs dfs -ls input

這個命令也可以：bin/hadoop fs -ls input     

第九步：執行Hadopo 自帶的WordCount 例子

[[email protected] hadoop-2.7.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop- mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'

說明：

1. 這種模式是在本地執行 MapReduce 任務，如果需要在 YARN 上執行，請看本文後面的

YARN 配置；

1. 這個例子是計算某個目錄下所有檔案中包含某個字串的次數，這裡是匹配'dfs[a-z.]+' 的次數；
2. 中間有報如下錯誤， 可忽略。"18/05/14 00:03:54 WARN io.ReadaheadPool: Failed readahead on ifile EBADF: Bad file descriptor"

第十步：將結果從分散式檔案系統拷貝到本地

[[email protected] hadoop-2.7.3]# bin/hdfs dfs -get output output [[email protected] hadoop-2.7.3]# cat output/*

6 dfs.audit.logger

4 dfs.class

3 dfs.server.namenode.

2 dfs.period

2 dfs.audit.log.maxfilesize

2 dfs.audit.log.maxbackupindex

1 dfsmetrics.log

1 dfsadmin

1 dfs.servers

1 dfs.replication

1 dfs.file

或者直接檢視

[[email protected] hadoop-2.7.3]# bin/hdfs dfs -cat output/*

這裡可以看到每個包含dfs 的關鍵詞在 etc/hadoop 的所有檔案中出現的次數的統計。

第十一步：驗證結果

用 linux 命令來統計一下"dfs.class"的次數，結果為 4 次，與 mapreduce 統計的一致。[[email protected] hadoop-2.7.3]# grep -r 'dfs.class' etc/hadoop/

etc/hadoop/hadoop- metrics.properties:dfs.class=org.apache.hadoop.metrics.spi.NullContext etc/hadoop/hadoop- metrics.properties:#dfs.class=org.apache.hadoop.metrics.file.FileContext etc/hadoop/hadoop-metrics.properties:# dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext etc/hadoop/hadoop-metrics.properties:# dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31 [[email protected] hadoop-2.7.3]#

另外，還可以通過YARN 來提交 job 任務。步驟如下：

第十二步：配置mapred-site.xml

[[email protected] hadoop-2.7.3]# 

mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

編輯 etc/hadoop/mapred-site.xml，修改如下：

備註：指定執行mapreduce的環境是yarn

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

第十三步：配置yarn-site.xml

編輯 etc/hadoop/yarn-site.xml，修改如下：

<configuration>

<property>

<!-- A comma separated list of services where service name should only contain a- zA-Z0-9_ and can not start with numbers -->

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

第十四步：啟動 YARN 的兩個節點ResourceManager 和NodeManager 注意：執行下面的命令之前，先確保已執行"sbin/start-dfs.sh"。[[email protected] hadoop-2.7.3]# sbin/start-yarn.sh

starting yarn daemons

starting resourcemanager, logging to /opt/hadoop-2.7.3/logs/yarn-root-resourcemanager- centos7.out

localhost: starting nodemanager, logging to /opt/hadoop-2.7.3/logs/yarn-root- nodemanager-centos7.out

第十五步：啟動 historyserver

Hadoop自帶了一個歷史伺服器，可以通過歷史伺服器檢視已經執行完的Mapreduce作業記錄，比如用了多少個Map、用了多少個Reduce、作業提交時間、作業啟動時間、作業完成時間等資訊。預設情況下，Hadoop歷史伺服器是沒有啟動的，我們可以通過下面的命令來啟動Hadoop歷史伺服器

[[email protected] hadoop-2.7.3]# sbin/mr-jobhistory-daemon.sh start historyserver

starting historyserver, logging to /opt/hadoop-2.7.3/logs/mapred-root-historyserver- centos7.out

確認程序已啟動

[[email protected] hadoop-2.7.3]# jps 1670 ResourceManager

1272 NameNode

1769 NodeManager

1370 DataNode

2234 Jps

1501 SecondaryNameNode

1838 JobHistoryServer [[email protected] hadoop-2.7.3]#

第十六步：檢視ResourceManager 的 Web 介面http://192.168.159.181:8088

第十七步：檢視 Job History Server 的web 頁面http://192.168.159.181:19888/

第十八步：執行 MapReduce job 任務

跟前面的命令一樣，但是我們將結果輸出目錄改為output-yarn，如下：

[[email protected] hadoop-2.7.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop- mapreduce-examples-2.7.3.jar grep input output-yarn 'dfs[a-z.]+'

檢視結果

[[email protected] hadoop-2.7.3]# bin/hdfs dfs -cat output-yarn/* 可以看到結果與之前執行的一致，這裡就不列出。

第十九步：停止 YARN

[[email protected] hadoop-2.7.3]# sbin/stop-yarn.sh

第十一步：關閉主程式

最後，如果使用完畢，可以關閉 Hadoop。[[email protected] hadoop-2.7.3]# sbin/stop-dfs.sh

[[email protected] ~]# sbin/mr-jobhistory-daemon.sh stop historyserver