技術標籤：Linuxhadooplinuxcentos

1.jdk的安裝（JDK8）

歷史版本下載地址：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

將下載的安裝包jdk-8u144-linux-x64.tar上傳至/usr/java目錄下。

然後進入/usr/java目錄解壓

tar -zxvf jdk-8u144-linux-x64.tar.gz

解壓完成之後返回到根目錄的etc資料夾下,改寫profile配置檔案

cd /etc
vi /etc/profile

在最後新增

export JAVA_HOME
 
=/usr/java/jdk1.8.0_144
export JAVA_BIN=/usr/java/jdk1.8.0_144/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

dk1.8.0_144就是上面的jdk壓縮包解壓後的檔名（視情況修改）

vi命令執行後，將顯示profile檔案內容。輸入i回車進入insert模式。在檔案最後新增上述內容後，按esc退出該模式，輸入:wq，執行儲存並退出。

最後記得更新配置檔案

source /etc/profile

測試是否安裝成功

java -version

出現上述內容，則成功！

2.修改主機名對映

在/etc/hosts檔案中修改對映

#127.0.0.1	localhost	localhost.localdomain	localhost4	localhost4.localdomain4
#::1	localhost	localhost.localdomain	localhost6	localhost6.localdomain6

172.19.57.112	Laboratroy319003	Laboratroy319003

注意這裡的主機名Laboratroy319003，後面修改配置檔案需要用到。

3.下載安裝Hadoop

v2.7.3壓縮包下載地址：

下載完成後上傳至伺服器的/usr/hadoop路徑下。

進行解壓縮

tar -zxf hadoop-2.7.3.tar.gz

修改配置檔案

【修改/etc/profile檔案，在最後新增下列內容】

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

儲存後用source命令更新。

source /etc/profile

【修改hadoop-env.sh檔案】

將25行

# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}

修改為

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_144

上述路徑是前面配置Jdk的資料夾位置

【修改core-site.xml檔案】

在configuration中新增：

<!-- 制定HDFS的老大（NameNode）的地址 -->
<property>
    <name>fs.defaultFS</name>
	<value>hdfs://Laboratroy319003:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存目錄[能自動生成目錄] -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/Laboratroy319003/hadoop/tmp</value>
</property>

【修改hdfs-site.xml檔案】

在configuration中新增：

<!-- 指定HDFS副本的數量 -->
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>                 <value>/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
          <name>dfs.datanode.data.dir</name>                      <value>/usr/local/hadoop/tmp/dfs/data</value>
    </property>

【修改mapred-site.xml檔案】

需要複製一個模板檔案

在/usr/hadoop/hadoop-2.7.3/etc/hadoop下

cp mapred-site.xml.template mapred-site.xml

然後vi mapred-site.xml

新增

<!-- 指定mr執行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
        </property>

【修改yarn-site.xml檔案】

在configuration新增

<!-- 指定YARN的老大（ResourceManager）的地址 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>Laboratroy319003</value>
        </property>
		<!-- reducer獲取資料的方式 -->
        <property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
        </property>

格式化namenode

hadoop namenode -format

報錯：

SHUTDOWN_MSG: Shutting down NameNode at Laboratroy319003/172.19.57.112

不用理會，向上翻如果有下列資訊，則說明已經成功。

INFO common.Storage: Storage directory /usr/local/hadoop/tmp/dfs/name has been successfully formatted.

啟動hadoop

start-dfs.sh
start-yarn.sh

這一過程需要yes三次並輸入三次root密碼

最後驗證是否成功

jps

最後出現下列結果則表示成功！

|

參考

大佬寫的很詳細：https://blog.csdn.net/leanaoo/article/details/83098354

非常感謝！