hadoop完全分布式搭建
Overview:過程有很多帖子都解釋了如何搭建,本文主要列舉需要做的事情,然後在文末提供一個非常詳細的搭建教程,方便大家使用。
我這裏是使用了3臺服務器搭建分布式平臺,每臺機子都需要配置java的開發環境,hadoop的四個XML文件,host名稱和profile配置文件,特別需要註意的是master節點需要在/etc/hadoop目錄下配置slave文件(配置節點信息,不然主機啟動,slave節點不會啟動),master節點需要配SSH免密碼登錄。
另外需要註意的是,每臺機子配的hadoop的環境其實是一模一樣的,裝好一臺,復制過去就行。master節點在加一些特殊配置就ok了
基礎環境
Euler2.1 192.168.0.1 master
Euler2.1 192.168.0.2 slave1
Euler2.1 192.168.0.3 slave2
一、三臺機子都要配的JAVA,XML*4,host,profile
1.master節點先配一下java的環境,網上資料很多
2.先後配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、host、profile,具體參考文末給出的文檔
3.分別從其他slave節點復制hadoop和java環境
scp -r [email protected]:/root/zhn_hadoop/hadoop /root/zhn_hadoop/
二、master配置slave文件和免密登錄
1.master節點在hadoop/etc/hadoop/slave文件需要配置主從信息
192.168.0.1 master
192.168.0.2 slave1
192.168.0.3 slave2
2.SSH免密登錄參考文末文件【配置SSH】
完全分布式搭建教程:
hadoop完全分布式搭建