1. 建立master和3個slave

建立4個host，分別定義hostname為master、slave1、slave2、slave3，檢查4個host的ip地址，確保所有主機均處於1個閘道器，在hosts中配置4個主機的ip地址和hostname，並確保能夠相互ping通

127.0.0.1       localhost

192.168.1.100   master
192.168.1.101   slave1
192.168.1.102   slave2
192.168.1.103   slave3

2. 關閉防火牆

關閉防火牆

sudo systemctl stop firewalld.service 
 

禁用防火牆

sudo systemctl disable firewalld.service

檢視防火牆狀態

firewall-cmd --state

重啟主機

3. 定義ssh免密登入

在root使用者下修改 /etc/ssh/sshd_config，設定以下三項後執行 service sshd restart

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

確保每臺主機均安裝並啟動了ssh服務，在master主機上生成ssh祕鑰對，並將其的公鑰匯入到每臺主機的authorized_keys中。並且在centos下，需要將authorized_keys檔案的許可權改為644。

4. 3臺主機均建立haddoop使用者，並給這個使用者新增sudo許可權

sudo su
useradd -m hadoop
passwd hadoop
#新增sudo許可權
visudo
#在改行root ALL=(ALL)ALL下新增hadoop ALL=(ALL)ALL 儲存並退出，並且換到hadoop使用者
su hadoop

5. jdk及hadoop安裝

安裝步驟及環境變數配置同偽分散式，每臺主機均需執行

6. 配置hadoop檔案

先在master上配置，配置完成後再拷貝至其他主機

core-site.xml    不配置埠時預設為8020

<configuration>
　　<property>
　　　　<name>fs.default.name</name>
　　　　<value>hdfs://master:9000</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>file:/home/hadoop/hadoop/tmp</value>
　　</property>
</configuration>
 

hdfs-site.xml

注意配置的路徑是否擁有讀寫許可權，當路徑配置在根目錄下的資料夾時(如 /usr)，需要更改該資料夾的讀寫許可權

sudo chmod -R a+w /usr

<configuration>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>2</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.name.dir</name>
　　　　<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
　　</property>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.secondary.http-address</name>
　　　　<value>master:9001</value>
　　</property>
</configuration>

mapred-site.xml

<configuration>
　　<property>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</property>
</configuration>

yarn-site.xml

<configuration>
　　<property>
　　　　<name>yarn.resourcemanager.hostname</name>
　　　　<value>master</value>
　　</property>
　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>
　　<property>
　　　　<name>yarn.log-aggregation-enable</name>
　　　　<value>true</value>
　　</property>
　　<property>
　　　　<name>yarn.log-aggregation.retain-seconds</name>
　　　　<value>604800</value>
　　</property>
</configuration>

配置slaves

slave1
slave2

7. hadoop啟動

同偽分散式操作

hadoop namenode -format
start-dfs.sh
start-yarn.sh

如果報permission denied，將hadoop目錄許可權改為 a+w

sudo chmod -R a+w /soft/hadoop

如果出現ssh連線慢或警告

Are you sure you want to continue connecting (yes/no)? The authenticity of host 's204 (192.168.242.131)' can't be established.

可以在master上對每臺主機執行

ssh -o "StrictHostKeyChecking no" [email protected]

並修改配置檔案 /etc/ssh/ssh_config

Host *
   StrictHostKeyChecking no
   UserKnownHostsFile=/dev/null

8. hadoop叢集測試

執行wordcount測試hadoop叢集

在當前目錄下建立檔案README.txt，在其中隨意貼上一段英文。

在hdfs中建立一個工作目錄

hdfs dfs -mkdir -p /data/input

將當前目錄下的README.txt推送到hdfs檔案系統中

hdfs dfs -put README.txt /data/input

檢視是否推送成功

hdfs dfs -ls /data/input

執行hadoop自帶的例子

hadoop jar /soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /data/input /data/output/result

檢視執行結果

hdfs dfs -cat /data/output/result/part-r-00000