Hadoop叢集安裝

小白剛剛開始學習Hadoop，本文記錄一下Hadoop叢集的安裝過程，不當之處望大佬指出。

本文使用VMWare模擬區域網環境下的三臺虛擬機器器搭建Hadoop叢集，三臺虛擬機器器已經設定SSH登入。
Linux版本：CentOS 6.9
JDK版本：1.8.0
Hadoop版本：hadoop-2.6.0-cdh5.14.0
CDH提供的Hadoop安裝包需要重新編譯，本文使用已經編譯好的安裝包，編譯步驟略過。

1.上傳壓縮包並解壓

將我們重新編譯之後支援snappy壓縮的hadoop包上傳到第一臺伺服器並解壓

第一臺機器執行以下命令

cd /export/softwares/ 
tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 
複製程式碼
 

2.檢視Hadoop支援的壓縮方式以及本地庫

cd /export/servers/hadoop-2.6.0-cdh5.14.0 
bin/hadoop checknative 
複製程式碼

如果出現openssl為false，那麼所有機器線上安裝openssl即可，執行以下命令，虛擬機器器聯網之後就可以線上進行安裝了

yum -y install openssl-devel 
複製程式碼

3.修改配置檔案

共需要修改6個配置檔案

(1)core-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 
vim core-site.xml 
複製程式碼
 

<configuration>
    <!-- 指定HDFS訪問的域名地址  -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
    <!-- 臨時檔案儲存目錄  -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value
 
>
	</property>
	<!--  緩衝區大小，實際工作中根據伺服器效能動態調整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  開啟hdfs的垃圾桶機制，刪除掉的資料可以從垃圾桶中回收，單位分鐘 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>
複製程式碼

(2)hdfs-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 
vim hdfs-site.xml 
複製程式碼

<configuration>
	<!-- NameNode儲存元資料資訊的路徑，實際工作中，一般先確定磁碟的掛載目錄，然後多個目錄用，進行分割   --> 
	<!--   叢集動態上下線 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	
	 <property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>node01:50090</value>
	</property>
	<!--  hdfs的叢集的web  訪問地址  -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定義dataNode資料儲存的節點位置，實際工作中，一般先確定磁碟的掛載目錄，然後多個目錄用逗號進行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	  <!-- edits產生的檔案存放路徑 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
    
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
    <!-- 預設檔案儲存的副本數量 -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
    <!-- 關閉hdfs的檔案許可權 -->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
    <!-- 預設 檔案的儲存的塊的大小 -->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>
複製程式碼

(3)hadoop-env.sh

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 
vim hadoop-env.sh 
複製程式碼

修改JAVA_HOME的路徑為jdk的安裝路徑

export JAVA_HOME=/export/servers/jdk1.8.0_141 
複製程式碼

(4)mapred-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 
vim mapred-site.xml 
複製程式碼

<configuration>
    <!--指定執行mapreduce的環境是yarn -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!--開啟job的小任務模式-->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	 <!-- MapReduce JobHistory Server IPC host:port -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>
	<!-- MapReduce JobHistory Server Web UI host:port -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>
複製程式碼

(5)yarn-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 
vim yarn-site.xml 
複製程式碼

<configuration>
    <!-- yarn resourcesmanager 的主機地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
    <!-- 逗號隔開的服務列表，列表名稱應該只包含a-zA-Z0-9_,不能以數字開始-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 啟用日誌聚合功能，應用程式完成後，收集各個節點的日誌到一起便於檢視 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
    <property>
		 <name>yarn.log.server.url</name>
		 <value>http://node01:19888/jobhistory/logs</value>
</property>
    <!--多長時間將聚合刪除一次日誌 此處 30 day -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>2592000</value>
	</property>
    <!--時間在幾秒鐘內保留使用者日誌。只適用於如果日誌聚合是禁用的-->
<property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>604800</value><!--7 day-->
</property>
    
    <!--指定檔案壓縮型別用於壓縮彙總日誌-->
    <property>
            <name>yarn.nodemanager.log-aggregation.compression-type</name>
            <value>gz</value>
    </property>
    <!-- nodemanager本地檔案儲存目錄-->
    <property>
            <name>yarn.nodemanager.local-dirs</name>
            <value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/yarn/local</value>
    </property>
    <!-- resourceManager  儲存最大的任務完成個數 -->
    <property>
            <name>yarn.resourcemanager.max-completed-applications</name>
            <value>1000</value>
    </property>
</configuration>
複製程式碼

(6)slaves

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 
vim slaves 
複製程式碼

追加叢集節點資訊

node01 
node02 
node03 
複製程式碼

4.建立檔案存放的目錄

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas  
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits 
複製程式碼

5.安裝包的分發

cd /export/servers/ 
scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD 
scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD 
複製程式碼

6.配置Hadoop的環境變數

每臺機器都要進行配置Hadoop的環境變數

vim  /etc/profile 
複製程式碼

在檔案中追加以下內容:

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 
複製程式碼

7.讓環境變數立即生效

每臺機器都需要執行:

source /etc/profile 
複製程式碼

叢集啟動

各個節點需要啟動的服務：

注意：

• 要啟動 Hadoop 叢集，需要啟動 HDFS 和 YARN 兩個叢集。
• 首次啟動HDFS時，必須對其進行格式化操作。本質上是一些清理和準備工作，因為此時的 HDFS 在物理上還是不存在的

cd hadoop-2.6.0-cdh5.14.0/  

bin/hdfs namenode  -format 
或者 
bin/hadoop namenode –format 
複製程式碼

啟動方式一: 單機節點依次啟動

(1)在主節點上使用以下命令啟動 HDFS NameNode：

hadoop-daemon.sh start namenode  
複製程式碼

(2)在每個節點上使用以下命令啟動 HDFS DataNode：

hadoop-daemon.sh start datanode  
複製程式碼

(3)在主節點上使用以下命令啟動 HDFS SecondaryNameNode：

hadoop-daemon.sh start secondarynamenode  
複製程式碼

(4)在主節點上使用以下命令啟動 YARN ResourceManager：

yarn-daemon.sh  start resourcemanager  
複製程式碼

(5)在每個節點上使用以下命令啟動 YARN NodeManager：

yarn-daemon.sh start nodemanager  
複製程式碼

(6)在主節點上使用以下命令啟動jobhistory：

mr-jobhistory-daemon.sh start historyserver 
複製程式碼

以上指令碼位於$HADOOP_PREFIX/sbin/目錄下。如果想要停止某個節點上某個角色，只需要把命令中的start 改為stop 即可。

啟動方式二: 指令碼一鍵啟動

如果配置了 etc/hadoop/slaves 和 ssh 免密登入，則可以使用程式指令碼啟動所有Hadoop 兩個叢集的相關程式，在主節點所設定的機器上執行。

node01節點上執行以下命令:

cd /export/servers/hadoop-2.6.0-cdh5.14.0/ 
sbin/start-dfs.sh 
sbin/start-yarn.sh 
sbin/mr-jobhistory-daemon.sh start historyserver 
複製程式碼

停止叢集

一般沒什麼問題,不要停止叢集

sbin/stop-dfs.sh 
sbin/stop-yarn.sh 
sbin/mr-jobhistory-daemon.sh stop historyserver 
複製程式碼

瀏覽器檢視啟動頁面

這裡大家根據自己配置的IP去訪問，由於我在本地host檔案中起過別名了，就用別名訪問了。

hdfs叢集訪問地址

http://node01:50070

yarn叢集訪問地址

http://node01:8088

jobhistory訪問地址：

http://node01:19888