大資料測試之hadoop單機環境搭建(超級詳細版)
友情提示：本文超級長，請備好瓜子
Hadoop的執行模式
單機模式是Hadoop的預設模式，在該模式下無需任何守護程序，所有程式都在單個JVM上執行，該模式主要用於開發和除錯mapreduce的應用邏輯；
偽分散式模式下，Hadoop守護程序執行在一臺機器上，模擬一個小規模的叢集。該模式在單機模式的基礎上增加了程式碼除錯的功能，允許你檢查NameNode，DataNode，Jobtracker，Tasktracker等模擬節點的執行情況；
單機模式和偽分散式模式均用於開發和除錯的目的，真實Hadoop叢集的執行採用的是完全分散式模式
單機模式安裝步驟
一個乾淨的linux基礎環境（重要，這個環境如果有問題後續就全是問題了）
為了方便大家我已經安裝好了一個，大家只需下載匯入到vm裡即可使用。
連結：https://pan.baidu.com/s/1qXRjaK8 密碼：xjfk
關閉防火牆（適用於centos7，低版本不適用）
分別執行如下兩條命令：
systemctl stop firewalld.service
systemctl disable firewalld.service
修改host name
vi /etc/hosts
然後把自己虛機的名字追加到兩行的末尾，如果用的是我們提供的虛機，名字就是linux，追加之後的效果如圖
重啟網路：/etc/rc.d/init.d/network restart
設定無密碼登入（用於hadoop啟動）
cd ~ #進入當前使用者的目錄
mkdir -p /root/.ssh #我們用的root使用者
cd ~/.ssh/
ssh-keygen -t rsa #如有提示，直接按回車 cat id_rsa.pub >> authorized_keys # 加入授權
安裝jdk1.8並配置環境變數
tar解壓
cp解壓後的包到/usr/lib/java/（如果沒有java目錄就建立一下）
vi /etc/profile，末尾新增如下內容：
export JAVA_HOME=/usr/lib/java/jdk1.8.0_11
export JRE_HOME=/usr/lib/java/jdk1.8.0_11/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
執行source /etc/profile使得環境變數生效
驗證是否成功，如下圖
安裝hadoop2.7.4
tar解壓
cp解壓後的包到/usr/lib/hadoop/（如果沒有hadoop目錄就建立一下）
設定hadoop-env.sh
vi /usr/lib/hadoop/hadoop-2.7.4/etc/hadoop/hadoop-env.sh
找到# The java implementation to use.這句話，在下面新增如下內容：
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/java/jdk1.8.0_11
export HADOOP_HOME=/usr/lib/hadoop/hadoop-2.7.4
export PATH=$PATH:/usr/lib/hadoop/hadoop-2.7.4/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
執行source /usr/lib/hadoop/hadoop-2.7.4/etc/hadoop/hadoop-env.sh，使得環境變數生效
驗證是否成功，如下圖
配置相關的xml檔案
vi /usr/lib/hadoop/hadoop-2.7.4/etc/hadoop/core-site.xml（hadoop全域性配置）
內容如下：
<configuration>
<!--指定namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
</configuration>
vi /usr/lib/hadoop/hadoop-2.7.4/etc/hadoop/hdfs-site.xml（hdfs配置）
內容如下：
<configuration>
<!--指定hdfs儲存資料的副本數量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
cd /usr/lib/hadoop/hadoop-2.7.4/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml（MapReduce的配置）
內容如下：
<configuration>
<!--告訴hadoop以後MapReduce執行在YARN上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
vi yarn-site.xml（yarn配置）
內容如下：
<configuration>
<!-- Site specific YARN configuration properties -->
<!--nomenodeManager獲取資料的方式是shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
格式化hdfs檔案系統
初次執行hadoop時一定要有該操作，命令如下：
/usr/lib/hadoop/hadoop-2.7.4/bin/hadoop namenode -format
執行期間可能需要確認是否繼續，如果有，就輸入y回車即可
當你看到如下的內容時證明成功了
如果看到的是exiting with status 1，那麼請執行如下命令，之後在進行hdfs的格式化
mkdir -pv /tmp/hadoop-root/dfs/name
啟動hadoop（hdfs和yarn）
sh /usr/lib/hadoop/hadoop-2.7.4/sbin/start-all.sh
sh /usr/lib/hadoop/hadoop-2.7.4/sbin/stop-all.sh #停止
如果沒有報錯說明就成功了
使用jps命令檢視程序，如果出現下面的內容就說明確定以及肯定成功啦
PS：如果修改了上面的xml檔案需要重啟服務哦
使用web檢視Hadoop執行狀態
http://你的伺服器ip地址:50070/
使用web檢視叢集狀態
http://你的伺服器IP地址:8088
可能會遇到的問題
如果你多次進行了hdfs的格式化操作，可能會無法啟動datanode，原因是id不一致，一般的解決方法為將namenode clusterID和datanode clusterID改成一樣的就行了。修改的檔案為/tmp/hadoop-root/dfs/下的name or data檔案下