Apache hadoop叢集安裝的三種方式：本地、偽分佈、完全分佈
四 Hadoop執行模式
1）官方網址
（1）官方網站：
（2）各個版本歸檔庫地址
（3）hadoop2.7.2版本詳情介紹
2）Hadoop執行模式
（1）本地模式（預設模式）：
不需要啟用單獨程序，直接可以執行，測試和開發時使用。
（2）偽分散式模式：
等同於完全分散式，只有一個節點。
（3）完全分散式模式：
多個節點一起執行。
4.1 本地執行Hadoop 案例
4.1.1 官方grep案例
1）建立在hadoop-2.7.2檔案下面建立一個input資料夾
[itstar@hadoop101 hadoop-2.7.2]$mkdir input
2）將hadoop的xml配置檔案複製到input
[itstar@hadoop101 hadoop-2.7.2]$cpetc/hadoop/*.xml input
3）執行share目錄下的mapreduce程式
[itstar@hadoop101 hadoop-2.7.2]$ bin/hadoopjar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jargrep input output 'dfs[a-z.]+'
4）檢視輸出結果
[itstar@hadoop101 hadoop-2.7.2]$ cat output/*
4.1.2 官方wordcount案例
1）建立在hadoop-2.7.2檔案下面建立一個wcinput資料夾
[itstar@hadoop101 hadoop-2.7.2]$mkdir wcinput
2）在wcinput檔案下建立一個wc.input檔案
[itstar@hadoop101 hadoop-2.7.2]$cd wcinput
[itstar@hadoop101 wcinput]$touch wc.input
3）編輯wc.input檔案
[itstar@hadoop101 wcinput]$vim wc.input 在檔案中輸入如下內容 hadoop yarn hadoop mapreduce itstar itstar 儲存退出：：wq |
4）回到hadoop目錄/opt/module/hadoop-2.7.2
5）執行程式：
[itstar@hadoop101 hadoop-2.7.2]$ hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinputwcoutput
6）檢視結果：
[itstar@hadoop101 hadoop-2.7.2]$catwcoutput/part-r-00000
itstar 2
hadoop 2
mapreduce 1
yarn 1
4.2 偽分散式執行Hadoop案例
4.2.1 啟動HDFS並執行MapReduce程式
1）分析：
（1）準備1臺客戶機
（2）安裝jdk
（3）配置環境變數
（4）安裝hadoop
（5）配置環境變數
（6）配置叢集
（7）啟動、測試叢集增、刪、查
（8）執行wordcount案例
2）執行步驟
需要配置hadoop檔案如下
（1）配置叢集
（a）配置：hadoop-env.sh
Linux系統中獲取jdk的安裝路徑：
[root@ hadoop101 ~]#echo $JAVA_HOME
/opt/module/jdk1.8.0_144
修改JAVA_HOME 路徑：
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
（b）配置：core-site.xml
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value> </property> <!-- 指定hadoop執行時產生檔案的儲存目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property> |
（c）配置：hdfs-site.xml
<!-- 指定HDFS副本的數量 --> <property> <name>dfs.replication</name> <value>1</value> </property> |
（2）啟動叢集
（a）格式化namenode（第一次啟動時格式化，以後就不要總格式化）
[[email protected]]$ bin/hdfs namenode -format
（b）啟動namenode
[[email protected]]$ sbin/hadoop-daemon.sh start namenode
（c）啟動datanode
[[email protected]]$ sbin/hadoop-daemon.sh start datanode
（3）檢視叢集
（a）檢視是否啟動成功
[[email protected]]$ jps
13586 NameNode
13668 DataNode
13786 Jps
（b）檢視產生的log日誌
當前目錄：/opt/module/hadoop-2.7.2/logs
[itstar@hadoop101 logs]$ ls
hadoop-itstar-datanode-hadoop.itstar.com.log
hadoop-itstar-datanode-hadoop.itstar.com.out
hadoop-itstar-namenode-hadoop.itstar.com.log
hadoop-itstar-namenode-hadoop.itstar.com.out
SecurityAuth-root.audit
[itstar@hadoop101 logs]#cat hadoop-itstar-datanode-hadoop101.log
（c）web端檢視HDFS檔案系統
注意：如果不能檢視，看如下帖子處理
（4）操作叢集
（a）在hdfs檔案系統上建立一個input資料夾
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -mkdir -p /user/itstar/input
（b）將測試檔案內容上傳到檔案系統上
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -put wcinput/wc.input /user/itstar/input/
（c）檢視上傳的檔案是否正確
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -ls /user/itstar/input/
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -cat /user/itstar/ input/wc.input
（d）執行mapreduce程式
[[email protected]]$ bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/itstar/input//user/itstar/output
（e）檢視輸出結果
命令列檢視：
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -cat /user/itstar/output/*
瀏覽器檢視
（f）將測試檔案內容下載到本地
[itstar@hadoop101 hadoop-2.7.2]$ hadoopfs -get /user/itstar/ output/part-r-00000 ./wcoutput/
（g）刪除輸出結果
[itstar@hadoop101 hadoop-2.7.2]$ hdfsdfs -rmr /user/itstar/output
4.2.2 YARN上執行MapReduce 程式
1）分析：
（1）準備1臺客戶機
（2）安裝jdk
（3）配置環境變數
（4）安裝hadoop
（5）配置環境變數
（6）配置叢集yarn上執行
（7）啟動、測試叢集增、刪、查
（8）在yarn上執行wordcount案例
2）執行步驟
（1）配置叢集
（a）配置yarn-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
（b）配置yarn-site.xml
<!-- reducer獲取資料的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop101</value> </property> |
（c）配置：mapred-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
（d）配置： (對mapred-site.xml.template重新命名為) mapred-site.xml
[itstar@hadoop101 hadoop]$ mvmapred-site.xml.template mapred-site.xml
[itstar@hadoop101 hadoop]$ vimapred-site.xml
<!-- 指定mr執行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> |
（2）啟動叢集
（a）啟動resourcemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart resourcemanager
（b）啟動nodemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart nodemanager
（3）叢集操作
（a）yarn的瀏覽器頁面檢視
http://192.168.1.101:8088/cluster
（b）刪除檔案系統上的output檔案
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -rm -R /user/itstar/output
（c）執行mapreduce程式
[[email protected]]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jarwordcount /user/itstar/input /user/itstar/output
（d）檢視執行結果
[itstar@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -cat /user/itstar/output/*
4.2.3 配置臨時檔案儲存路徑
1）停止程序
[[email protected]]$ sbin/yarn-daemon.sh stop nodemanager
[[email protected]]$ sbin/yarn-daemon.sh stop resourcemanager
[[email protected]]$ sbin/hadoop-daemon.sh stop datanode
[[email protected]]$ sbin/hadoop-daemon.sh stop namenode
2）修改hadoop.tmp.dir
[core-site.xml]
<!-- 指定hadoop執行時產生檔案的儲存目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property> |
3）將/opt/module/hadoop-2.7.2路徑中的logs資料夾刪除掉
[itstar@hadoop101 hadoop-2.7.2]$rm -rf logs/
4）進入到tmp目錄將tmp目錄中hadoop-itstar目錄刪除掉
[itstar@hadoop101tmp]$ rm -rf hadoop-itstar/
5）格式化NameNode
[itstar@hadoop101 hadoop-2.7.2]$ hadoopnamenode -format
6）啟動所有程序
[itstar@hadoop101 hadoop-2.7.2]$sbin/hadoop-daemon.sh start namenode
[[email protected]]$ sbin/hadoop-daemon.sh start datanode
[[email protected]]$ sbin/yarn-daemon.sh start resourcemanager
[[email protected]]$ sbin/yarn-daemon.sh start nodemanager
7）檢視/opt/module/hadoop-2.7.2/data/tmp這個目錄下的內容。
4.2.4 配置歷史伺服器
1）配置mapred-site.xml
[itstar@hadoop101 hadoop]$ vi mapred-site.xml
<property> <name>mapreduce.jobhistory.address</name> <value>hadoop101:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop101:19888</value> </property> |
2）檢視啟動歷史伺服器檔案目錄：
[[email protected]]$ ls sbin/ | grep mr
mr-jobhistory-daemon.sh
3）啟動歷史伺服器
[itstar@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.shstart historyserver
4）檢視歷史伺服器是否啟動
[[email protected]]$ jps
5）檢視jobhistory
4.2.5 配置日誌的聚集
日誌聚集概念：應用執行完成以後，將日誌資訊上傳到HDFS系統上。
開啟日誌聚集功能步驟：
（1）配置yarn-site.xml
[itstar@hadoop101 hadoop]$ viyarn-site.xml
<!-- 日誌聚集功能使能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日誌保留時間設定7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> |
（2）關閉nodemanager 、resourcemanager和historymanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstop resourcemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstop nodemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.shstop historyserver
（3）啟動nodemanager 、resourcemanager和historymanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart resourcemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart nodemanager
[itstar@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.shstart historyserver
（4）刪除hdfs上已經存在的hdfs檔案
[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs-rm -R /user/itstar/output
（5）執行wordcount程式
[itstar@hadoop101 hadoop-2.7.2]$ hadoopjar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/itstar/input/user/itstar/output
（6）檢視日誌
4.2.6 配置檔案說明
Hadoop配置檔案分兩類：預設配置檔案和自定義配置檔案，只有使用者想修改某一預設配置值時，才需要修改自定義配置檔案，更改相應屬性值。
（1）預設配置檔案：存放在hadoop相應的jar包中
[core-default.xml]
hadoop-common-2.7.2.jar/core-default.xml
[hdfs-default.xml]
hadoop-hdfs-2.7.2.jar/ hdfs-default.xml
[yarn-default.xml]
hadoop-yarn-common-2.7.2.jar/ yarn-default.xml
[core-default.xml]
hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml
（2）自定義配置檔案：存放在$HADOOP_HOME/etc/hadoop
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
4.3 完全分散式部署Hadoop
分析：
1）準備3臺客戶機（關閉防火牆、靜態ip、主機名稱）
2）安裝jdk
3）配置環境變數
4）安裝hadoop
5）配置環境變數
6）安裝ssh
7）配置叢集
8）啟動測試叢集
4.3.1 虛擬機器準備
詳見3.2-3.3章。
4.3.2 主機名設定
詳見3.4章。
4.3.3 scp
1）scp可以實現伺服器與伺服器之間的資料拷貝。
2）案例實操
（1）將hadoop101中/opt/module和/opt/software檔案拷貝到hadoop102、hadoop103和hadoop104上。
[root@hadoop101/]# scp -r /opt/module/ root@hadoop102:/opt
[root@hadoop101/]# scp -r /opt/software/ root@hadoop102:/opt
[root@hadoop101/]# scp -r /opt/module/ root@hadoop103:/opt
[root@hadoop101/]# scp -r /opt/software/ root@hadoop103:/opt
[root@hadoop101/]# scp -r /opt/module/ root@hadoop104:/opt
[root@hadoop101/]# scp -r /opt/software/ root@hadoop105:/opt
（2）將hadoop101伺服器上的/etc/profile檔案拷貝到hadoop102上。
[root@hadoop102opt]# scp root@hadoop101:/etc/profile /etc/profile
（3）實現兩臺遠端機器之間的檔案傳輸（hadoop103主機檔案拷貝到hadoop104主機上）
[itstar@hadoop102test]$ scp itstar@hadoop103:/opt/test/haha itstar@hadoop104:/opt/test/
4.3.4 SSH無密碼登入
1）配置ssh
（1）基本語法
ssh 另一臺電腦的ip地址
（2）ssh連線時出現Host keyverification failed的解決方法
[root@hadoop102 opt]#ssh 192.168.1.103
The authenticity of host '192.168.1.103 (192.168.1.103)'can't be established.
RSA key fingerprint iscf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting(yes/no)?
Host key verification failed.
（3）解決方案如下：直接輸入yes
2）無金鑰配置
（1）進入到我的home目錄
[itstar@hadoop102 opt]$ cd ~/.ssh
（2）生成公鑰和私鑰：
[itstar@hadoop102 .ssh]$ ssh-keygen-t rsa
然後敲（三個回車），就會生成兩個檔案id_rsa（私鑰）、id_rsa.pub（公鑰）
（3）將公鑰拷貝到要免密登入的目標機器上
[itstar@hadoop102 .ssh]$ ssh-copy-idhadoop102
[itstar@hadoop102 .ssh]$ ssh-copy-idhadoop103
[itstar@hadoop102 .ssh]$ ssh-copy-idhadoop104
（4）在hadoop103、hadoop104上分別執行所有操作
3）.ssh資料夾下的檔案功能解釋
（1）~/.ssh/known_hosts ：記錄ssh訪問過計算機的公鑰(publickey)
（2）id_rsa ：生成的私鑰
（3）id_rsa.pub ：生成的公鑰
（4）authorized_keys ：存放授權過得無祕登入伺服器公鑰
4.3.5 rsync
rsync遠端同步工具，主要用於備份和映象。具有速度快、避免複製相同內容和支援符號連結的優點。
rsync和scp區別：用rsync做檔案的複製要比scp的速度快，rsync只對差異檔案做更新。scp是把所有檔案都複製過去。
（1）檢視rsync使用說明
man rsync | more
（2）基本語法
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
命令命令引數要拷貝的檔案路徑/名稱目的使用者@主機:目的路徑
選項
-r 遞迴
-v 顯示覆制過程
-l 拷貝符號連線
（3）案例實操
把本機/opt/tmp目錄同步到hadoop103伺服器的root使用者下的/opt/tmp目錄
[itstar@hadoop102 opt]$ rsync -rvl/opt/tmp root@hadoop103:/opt/
4.3.6 編寫叢集分發指令碼xsync
1）需求分析：迴圈複製檔案到所有節點的相同目錄下。
（1）原始拷貝：
rsync -rvl /opt/module root@hadoop103:/opt/
（2）期望指令碼：
xsync 要同步的檔名稱
（3）在/usr/local/bin這個目錄下存放的指令碼，可以在系統任何地方直接執行。
2）案例實操：
（1）在/usr/local/bin目錄下建立xsync檔案，檔案內容如下：
[root@hadoop102 bin]# touchxsync
[root@hadoop102 bin]# vixsync
#!/bin/bash #1 獲取輸入引數個數，如果沒有引數，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 獲取檔名稱 p1=$1 fname=`basename $p1` echo fname=$fname #3 獲取上級目錄到絕對路徑 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 獲取當前使用者名稱稱 user=`whoami` #5 迴圈 for((host=103; host<105; host++)); do #echo $pdir/$fname $user@hadoop$host:$pdir echo --------------- hadoop$host ---------------- rsync -rvl $pdir/$fname $user@hadoop$host:$pdir done |
（2）修改指令碼 xsync 具有執行許可權
[root@hadoop102bin]# chmod 777 xsync
[root@hadoop102bin]# chown itstar:itstar -R xsync
（3）呼叫指令碼形式：xsync 檔名稱
[itstar@hadoop102opt]$ xsync tmp/
4.3.7 編寫叢集操作指令碼xcall
1）需求分析：在所有主機上同時執行相同的命令
xcall +命令
2）具體實現
（1）在/usr/local/bin目錄下建立xcall檔案，檔案內容如下：
[root@hadoop102 bin]# touch xcall
[root@hadoop102 bin]# vi xcall
#!/bin/bash pcount=$# if((pcount==0));then echo no args; exit; fi echo -------------localhost---------- $@ for((host=101; host<=108; host++)); do echo ----------hadoop$host--------- ssh hadoop$host $@ done |
（2）修改指令碼xcall具有執行許可權
[root@hadoop102bin]# chmod 777 xcall
[root@hadoop102bin]# chown itstar:itstar xcall
（3）呼叫指令碼形式： xcall 操作命令
[root@hadoop102~]# xcall rm -rf /opt/tmp/
4.3.8 配置叢集
1）叢集部署規劃
hadoop102 | hadoop103 | hadoop104 | |
HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
YARN | NodeManager | ResourceManager NodeManager | NodeManager |
2）配置檔案
（1）core-site.xml
[itstar@hadoop102hadoop]$ vi core-site.xml
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:9000</value> </property> <!-- 指定hadoop執行時產生檔案的儲存目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property> |
（2）Hdfs
hadoop-env.sh
[itstar@hadoop102hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop104:50090</value> </property> </configuration> |
slaves
[itstar@hadoop102hadoop]$ vi slaves
hadoop102 hadoop103 hadoop104 |
（3）yarn
yarn-env.sh
[itstar@hadoop102 hadoop]$ viyarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
yarn-site.xml
[itstar@hadoop102 hadoop]$ viyarn-site.xml
<configuration> <!-- reducer獲取資料的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop103</value> </property> </configuration> |
（4）mapreduce
mapred-env.sh
[itstar@hadoop102 hadoop]$ vimapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
mapred-site.xml
[itstar@hadoop102 hadoop]$ vimapred-site.xml
<configuration> <!-- 指定mr執行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> |
3）在叢集上分發以上所有檔案
[itstar@hadoop102hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[itstar@hadoop102hadoop]$ xsync /opt/module/hadoop-2.7.2
4）檢視檔案分發情況
[itstar@hadoop102hadoop]$ xcall cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves
4.3.9 叢集啟動及測試
1）啟動叢集
（0）如果叢集是第一次啟動，需要格式化namenode
[[email protected]]$bin/hdfsnamenode -format
（1）啟動HDFS：
[[email protected]]$sbin/start-dfs.sh
[[email protected]]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[[email protected]]$ jps
3218 DataNode
3288 Jps
[[email protected]]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
（2）啟動yarn
[[email protected]]$ sbin/start-yarn.sh
注意：Namenode和ResourceManger如果不是同一臺機器，不能在NameNode上啟動 yarn，應該在ResouceManager所在的機器上啟動yarn。
2）叢集基本測試
（1）上傳檔案到叢集
上傳小檔案
[itstar@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p/user/itstar/tmp/conf
[itstar@hadoop102 hadoop-2.7.2]$ bin/hdfsdfs -put etc/hadoop/*-site.xml /user/itstar/tmp/conf
上傳大檔案
[[email protected]]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/itstar/input
（2）上傳檔案後檢視檔案存放在什麼位置
檔案儲存路徑
[itstar@hadoop102 subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0
檢視檔案內容
[itstar@hadoop102subdir0]$ cat blk_1073741825
hadoop
itstar
itstar
（3）拼接
-rw-rw-r--. 1 itstar itstar 134217728 5月 23 16:01 blk_1073741836
-rw-rw-r--. 1 itstar itstar 1048583 5月 23 16:01blk_1073741836_1012.meta
-rw-rw-r--. 1 itstar itstar 63439959 5月 23 16:01 blk_1073741837
-rw-rw-r--. 1 itstar itstar 495635 5月 23 16:01blk_1073741837_1013.meta
[itstar@hadoop102 subdir0]$cat blk_1073741836>>tmp.file
[itstar@hadoop102subdir0]$ cat blk_1073741837>>tmp.file
[itstar@hadoop102subdir0]$ tar -zxvf tmp.file
（4）下載
[[email protected]]$ bin/hadoop fs -get /user/itstar/input/hadoop-2.7.2.tar.gz
3）效能測試叢集
寫海量資料
讀海量資料
4.3.10 Hadoop啟動停止方式
1）各個服務元件逐一啟動
（1）分別啟動hdfs元件
hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
（2）啟動yarn
yarn-daemon.sh start|stop resourcemanager|nodemanager
2）各個模組分開啟動（配置ssh是前提）常用
（1）整體啟動/停止hdfs
start-dfs.sh
stop-dfs.sh
（2）整體啟動/停止yarn
start-yarn.sh
stop-yarn.sh
3）全部啟動（不建議使用）
start-all.sh
stop-all.sh
4.3.11 叢集時間同步
時間同步的方式：找一個機器，作為時間伺服器，所有的機器與這臺叢集時間進行定時的同步，比如，每隔十分鐘，同步一次時間。
配置時間同步實操：
1）時間伺服器配置（必須root使用者）
（1）檢查ntp是否安裝
[root@hadoop102桌面]# rpm -qa|grep ntp
ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64
（2）修改ntp配置檔案
[root@hadoop102桌面]# vi/etc/ntp.conf
修改內容如下
a）修改1
#restrict192.168.1.0 mask 255.255.255.0 nomodify notrap為
restrict192.168.1.0 mask 255.255.255.0 nomodify notrap
b）修改2
server0.centos.pool.ntp.org iburst
server1.centos.pool.ntp.org iburst
server2.centos.pool.ntp.org iburst
server3.centos.pool.ntp.org iburst為
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c）新增3
server 127.127.1.0
fudge 127.127.1.0stratum 10
（3）修改/etc/sysconfig/ntpd 檔案
[root@hadoop102 桌面]#vim /etc/sysconfig/ntpd
增加內容如下
SYNC_HWCLOCK=yes
（4）重新啟動ntpd
[root@hadoop102桌面]# service ntpd status
ntpd 已停
[root@hadoop102桌面]# service ntpd start
正在啟動 ntpd： [確定]
（5）執行：
[root@hadoop102桌面]# chkconfig ntpd on
2）其他機器配置（必須root使用者）
（1）在其他機器配置10分鐘與時間伺服器同步一次
[root@hadoop103 hadoop-2.7.2]# crontab -e
編寫指令碼
*/10 * * * */usr/sbin/ntpdate hadoop102
（2）修改任意機器時間
[root@hadoop103 hadoop]# date -s "2017-9-1111:11:11"
（3）十分鐘後檢視機器是否與時間伺服器同步
[root@hadoop103 hadoop]# date
4.3.12 配置叢集常見問題
1）防火牆沒關閉、或者沒有啟動yarn
INFO client.RMProxy:Connecting to ResourceManager at hadoop108/192.168.10.108:8032
2）主機名稱配置錯誤
3）ip地址配置錯誤
4）ssh沒有配置好
5）root使用者和itstar兩個使用者啟動叢集不統一
6）配置檔案修改不細心
7）未編譯原始碼
Unableto load native-hadoop library for your platform... using builtin-java classeswhere applicable
17/05/2215:38:58 INFO client.RMProxy: Connecting to ResourceManager athadoop108/192.168.10.108:8032
8）datanode不被namenode識別問題
Namenode在format初始化的時候會形成兩個標識，blockPoolId和clusterId。新的datanode加入時，會獲取這兩個標識作為自己工作目錄中的標識。
一旦namenode重新format後，namenode的身份標識已變，而datanode如果依然持有原來的id，就不會被namenode識別。
解決辦法，刪除datanode節點中的資料後，再次重新格式化namenode。
9）不識別主機名稱
java.net.UnknownHostException: hadoop102: hadoop102 at java.net.InetAddress.getLocalHost(InetAddress.java:1475) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146) 在org.apache.hadoop.mapreduce.Job $ 10.run（Job.java:1290） 在org.apache.hadoop.mapreduce.Job $ 10.run（Job.java:1287） 在java.security.AccessController.doPrivileged（Native方法） 在javax.security.auth.Subject.doAs（Subject.java:415） |
解決辦法：
（1）在/ etc / hosts檔案中新增192.168.1.102 hadoop102
（2）主機名稱不要起hadoop hadoop000等特殊名稱
10）資料管理部和名稱節點程序同時只能工作一個。
11）執行命令不生效，貼上詞中命令時，遇到 - 和長 - 沒區分開。導致命令失效
解決辦法：儘量不要貼上字中程式碼。
12）JPS發現程序已經沒有，但是重新啟動叢集，提示程序已經開啟。原因是在Linux的的根目錄下的/ tmp目錄中存在啟動的程序臨時檔案，將叢集相關程序刪除掉，再重新啟動叢集。
13）JPS不生效。
原因：全域性變數hadoop java沒有生效，需要source / etc / profile檔案。
14）8088埠連線不上
[itstar @ hadoop102桌面] $ cat / etc / hosts
註釋掉如下程式碼
＃127.0.0.1 localhost localhost.localdomain localhost4localhost4.localdomain4
＃:: 1 hadoop102