1. 程式人生 > 實用技巧 >最全面的CentOS下hadoop的偽分散式安裝

最全面的CentOS下hadoop的偽分散式安裝

在開始之前請先確保你已經進行了CentOS的網路配置,詳情請見CentOS搭建

一、安裝java環境

在開始安裝hadoop之前,要先確保機器已經安裝了java環境,因為hadoop的執行依賴於java。
Java安裝連結

二、配置ssh本機免密登陸

首先輸入命令ssh-keygen -t rsa回車四下,來獲取密匙
在這裡插入圖片描述
然後使用ssh-copy-id 使用者名稱@本機主機名 or 本機IP地址來分發密匙
在這裡插入圖片描述

三、進行hadoop偽分散式安裝

1、下載hadoop
連結: https://pan.baidu.com/s/1uXEE6rmBVUkXeTy0ipVkfg 密碼: 34ao
2、解壓到相關目錄
使用tar -zxvf hadoop安裝包 -C 指定安裝目錄

將hadoop安裝包進行解壓。
3、配置相關檔案
(1)hdfs相關配置檔案:hadoop-env.sh、core-site.xml、hdfs-site.xml
a、hadoop-env.sh:配置java路徑
在這裡插入圖片描述
b、core-site.xml
在這裡插入圖片描述
c、hdfs-site.xml
在這裡插入圖片描述
(2)yarn相關配置檔案:yarn-env.sh、yarn-site.xml
a、yarn-env.sh:配置java路徑
在這裡插入圖片描述
b、yarn-site.xml
在這裡插入圖片描述
(3)mapreduce相關配置檔案:mapred-env.sh、mapred-queues.xml.template
a、mapred-env.sh:配置java路徑
在這裡插入圖片描述
b、mapred-queues.xml.template:配置之前要對該檔案進行重新命名mapred-queues.xml
在這裡插入圖片描述

四、執行hadoop

1、啟動hdfs模組
(1)格式化hdfs
回到hadoop安裝目錄,使用bin/hdfs namenode -format命令對hdfs進行格式化。
在這裡插入圖片描述
(2)啟動namenode
在這裡插入圖片描述
(3)啟動datanode
在這裡插入圖片描述

hadoop有三種啟動方法。以上啟動的方法為逐個啟動,也可以使用sbin/start-dfs.sh直接啟動hdfs模組,此方法叫分模組啟動。前提是必須進行第二步配置ssh免密登陸

至此,hdfs模組已經完全啟動,可以在瀏覽器輸入ip地址 or 主機名:50070

訪問hdfs介面
在這裡插入圖片描述

2、啟動yarn模組
(1)啟動resourcemanager
在這裡插入圖片描述
(1)啟動nodemanager
在這裡插入圖片描述

與上面說的一樣,以上啟動的方法為逐個啟動,也可以使用sbin/start-yarn.sh直接啟動yarn模組
除此之外,第三種啟動方法為,sbin/start-all.sh直接一次性啟動所有模組,前提同樣是必須進行第二步配置ssh免密登陸

至此,yarn模組已經完全啟動。可以在瀏覽器輸入ip地址 or 主機名:8088訪問yarn介面
在這裡插入圖片描述
至此,hadoop的偽分散式安裝已經完全搭建完成!