最全面的CentOS下hadoop的偽分散式安裝
在開始之前請先確保你已經進行了CentOS的網路配置,詳情請見CentOS搭建!
一、安裝java環境
在開始安裝hadoop之前,要先確保機器已經安裝了java環境,因為hadoop的執行依賴於java。
Java安裝連結
二、配置ssh本機免密登陸
首先輸入命令ssh-keygen -t rsa
回車四下,來獲取密匙
然後使用ssh-copy-id 使用者名稱@本機主機名 or 本機IP地址
來分發密匙
三、進行hadoop偽分散式安裝
1、下載hadoop
連結: https://pan.baidu.com/s/1uXEE6rmBVUkXeTy0ipVkfg 密碼: 34ao
2、解壓到相關目錄
使用tar -zxvf hadoop安裝包 -C 指定安裝目錄
3、配置相關檔案
(1)hdfs相關配置檔案:hadoop-env.sh、core-site.xml、hdfs-site.xml
a、hadoop-env.sh:配置java路徑
b、core-site.xml
c、hdfs-site.xml
(2)yarn相關配置檔案:yarn-env.sh、yarn-site.xml
a、yarn-env.sh:配置java路徑
b、yarn-site.xml
(3)mapreduce相關配置檔案:mapred-env.sh、mapred-queues.xml.template
a、mapred-env.sh:配置java路徑
b、mapred-queues.xml.template:配置之前要對該檔案進行重新命名mapred-queues.xml
四、執行hadoop
1、啟動hdfs模組
(1)格式化hdfs
回到hadoop安裝目錄,使用bin/hdfs namenode -format
命令對hdfs進行格式化。
(2)啟動namenode
(3)啟動datanode
hadoop有三種啟動方法。以上啟動的方法為逐個啟動,也可以使用
sbin/start-dfs.sh
直接啟動hdfs模組,此方法叫分模組啟動。前提是必須進行第二步配置ssh免密登陸
至此,hdfs模組已經完全啟動,可以在瀏覽器輸入ip地址 or 主機名:50070
2、啟動yarn模組
(1)啟動resourcemanager
(1)啟動nodemanager
與上面說的一樣,以上啟動的方法為逐個啟動,也可以使用
sbin/start-yarn.sh
直接啟動yarn模組
除此之外,第三種啟動方法為,sbin/start-all.sh
直接一次性啟動所有模組,前提同樣是必須進行第二步配置ssh免密登陸
至此,yarn模組已經完全啟動。可以在瀏覽器輸入ip地址 or 主機名:8088
訪問yarn介面
至此,hadoop的偽分散式安裝已經完全搭建完成!