1. 基礎配置

關閉防火牆

systemctl stop firewalld

禁止防火牆開機自啟

systemctl disable firewalld.service

更改時區

timedatectl set-timezone Asia/Shanghai

安裝vim

yum install vim

2. 安裝jdk

進入安裝包目錄

cd /usr/local/software/

解壓jdk壓縮包

tar -xzf jdk-8u202-linux-x64.tar.gz
// 或者
tar -xzvf jdk-8u202-linux-x64.tar.gz 

注：引數也可新增v
兩者的區別是v引數可以檢視解壓過程資訊

重新命名，並將資料夾放入/usr/local下

mv jdk1.8.0_202/ /usr/local/jdk

配置系統環境變數

vim /etc/profile

新增

JAVA_HOME=/usr/local/jdk
JRE_HOME=/usr/local/jdk/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

使配置生效

source /etc/profile

檢視java版本

java -version

3. SSH

首先配置hosts檔案

vim /etc/hosts
192.168.34.56 master

設定本地ssh

ssh master

cd ~/.ssh
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

設定後測試

ssh master

4. Hadoop安裝

進入安裝包目錄

cd /usr/local/sortware/

解壓hadoop壓縮包

tar -zxf hadoop-2.7.7.tar.gz

重新命名並改變位置

mv hadoop-2.7.7 /usr/local/hadoop
 

檢視hadoop版本資訊

cd /usr/local/hadoop
./bin/hadoop version

配置系統環境變數

vim /etc/profile

新增

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

使配置生效

source /etc/profile

5. Hadoop配置

編輯hadoop-env.sh環境配置檔案，找到export JAVA_HOME=${JAVA_HOME}，將該語句修改為

cd /usr/local/hadoop/etc/hadoop
vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

編輯 core-site.xml

vim core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoopData/tmp</value>
</property>

編輯 hdfs-site.xml

vim hdfs-site.xml

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/root/hadoopData/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/hadoopData/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

通過yarn在單節點中管理MapReduce任務，配置 mapred-site.xml

由於沒有mapred-site.xml 檔案，需要從模板檔案複製一個

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.application.classpath</name> 
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

<!-- 以下兩項為啟動jobhistory服務設定項，後面用到mapreduce 時需要 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>


<!-- 設定跨平臺 
<property>
<name>mapreduce.app-submission.cross-platform</name>
<value>true</value>
</property>
-->

配置 yarn-site.xml

vim yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSP
ATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

初始化

hadoop namenode -format 

啟動

/usr/local/hadoop/sbin/start-all.sh

開啟 jobhistoryserver

/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

192.168.43.24:19888 jobhistroyserver

6. 執行例項

cd /usr/local/hadoop/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 2 3

結果為4.000