1. 程式人生 > >ubuntu 16.04搭建hadoop2.7.2(Vmware 12.0搭建完全分散式三臺虛擬機器)

ubuntu 16.04搭建hadoop2.7.2(Vmware 12.0搭建完全分散式三臺虛擬機器)

此做法無實際意義,只是用來學習搭建過程和了解hadoop相關配置。

版本:Ubuntu16.04  hadoop2.7.2(一臺電腦開三臺虛擬機器完全分散式)

主結點:192.168.150.112 Caxiongyu1

從結點:192.168.150.113 Caixiongyu2

                192.168.150.114 Caixiongyu3

新增使用者hadoop


為新使用者新增許可權:


安裝JDK及配置環境變數:


/etc/profiel檔案

測試安裝是否成功:

 

檢視並設定NAT(方便之後設定靜態IP):

 



設定靜態IP地址,16.04版本的上網查了下網絡卡名稱不是eth0而是

ens33


設定DNS:


測試是否能ping 通外網:

測試能否相互ping 通:

第三臺ping 前兩臺:



第一臺ping 後兩臺:



第二臺ping 第一臺和第三臺:

 

複製節點到另外兩臺。併為另外兩臺設定相應的靜態IP地址。

這裡我分別設定為192.168.150.112和192.168.150.113和192.168.150.114。

各自修改 /etc/hostsname(如下圖是主節點)


修改 /etc/hosts


安裝SSH:

 

建立無密碼登入:

 cp id_rsa.pub authorized_keys

  

 

複製公鑰給主機1(兩臺都同樣操作):




改許可權後複製到authorized_keys中去:


複製完後

從主結點複製給其他結點:

 

主機無密碼SSH登入:


 

 若SSH只能無密碼登陸其中幾臺,則有可能是因為SSH安裝目錄的許可權問題,用chown改變目錄使用者許可權就可以解決。

下載hadoop2.7.2(在主節點)

 tar–zxvf Hadoop-2.7.2解壓

修改配置檔案hadoop-env.sh、yarn-en.sh、yarn-site.xml、hdfs-site.xml、core-site.xml










在主節點建立資料夾:

/home/hadoop/dfs

 /home/hadoop/dfs/data

 /home/hadoop/dfs/name

 /home/hadoop/tmp

 ~/桌面/hadoop/logs

~/桌面/Hadoop/slaves檔案的配置:

配置hadoop

複製到另外兩臺:

scp -r /home/hadoop/桌面/hadoopCaixiongyu2:/home/hadoop/桌面

scp -r /home/hadoop/桌面/hadoopCaixiongyu3:/home/hadoop/桌面

然後把環境變數複製過去:

 

格式化:(期間有許多xml檔案容易設定錯誤,修改一下就成功了。)

./bin/Hadoop namenode -formate

 

啟動hadoop:

 

在主節點:


從節點:

 


跑例項:


1.在 hadoop 目錄下建立  localfile  目錄 ,儲存本地的 檔案, mkdir localfile

2.建立 檔案  word-count 檔案 ,輸入 檔案內容  viword-count

原檔案:

3.建立 遠端 檔案目錄:  hadoopfs -mkdir test-examples   


4.將 word-count3 檔案上傳 

5.執行自帶例子:儲存在word-count-result4

檢視輸出結果:

 

檢視叢集狀態: