ubuntu 16.04搭建hadoop2.7.2(Vmware 12.0搭建完全分散式三臺虛擬機器)
此做法無實際意義,只是用來學習搭建過程和了解hadoop相關配置。
版本:Ubuntu16.04 hadoop2.7.2(一臺電腦開三臺虛擬機器完全分散式)
主結點:192.168.150.112 Caxiongyu1
從結點:192.168.150.113 Caixiongyu2
192.168.150.114 Caixiongyu3
新增使用者hadoop
為新使用者新增許可權:
安裝JDK及配置環境變數:
/etc/profiel檔案
測試安裝是否成功:
檢視並設定NAT(方便之後設定靜態IP):
設定靜態IP地址,16.04版本的上網查了下網絡卡名稱不是eth0而是
設定DNS:
測試是否能ping 通外網:
測試能否相互ping 通:
第三臺ping 前兩臺:
第一臺ping 後兩臺:
第二臺ping 第一臺和第三臺:
複製節點到另外兩臺。併為另外兩臺設定相應的靜態IP地址。
這裡我分別設定為192.168.150.112和192.168.150.113和192.168.150.114。
各自修改 /etc/hostsname(如下圖是主節點)
修改 /etc/hosts
安裝SSH:
建立無密碼登入:
cp id_rsa.pub authorized_keys
複製公鑰給主機1(兩臺都同樣操作):
改許可權後複製到authorized_keys中去:
複製完後
從主結點複製給其他結點:
主機無密碼SSH登入:
若SSH只能無密碼登陸其中幾臺,則有可能是因為SSH安裝目錄的許可權問題,用chown改變目錄使用者許可權就可以解決。
下載hadoop2.7.2(在主節點)
tar–zxvf Hadoop-2.7.2解壓
修改配置檔案hadoop-env.sh、yarn-en.sh、yarn-site.xml、hdfs-site.xml、core-site.xml
在主節點建立資料夾:
/home/hadoop/dfs
/home/hadoop/dfs/data
/home/hadoop/dfs/name
/home/hadoop/tmp
~/桌面/hadoop/logs
~/桌面/Hadoop/slaves檔案的配置:
配置hadoop
複製到另外兩臺:
scp -r /home/hadoop/桌面/hadoopCaixiongyu2:/home/hadoop/桌面
scp -r /home/hadoop/桌面/hadoopCaixiongyu3:/home/hadoop/桌面
然後把環境變數複製過去:
格式化:(期間有許多xml檔案容易設定錯誤,修改一下就成功了。)
./bin/Hadoop namenode -formate
啟動hadoop:
在主節點:
從節點:
跑例項:
1.在 hadoop 目錄下建立 localfile 目錄 ,儲存本地的 檔案, mkdir localfile
2.建立 檔案 word-count 檔案 ,輸入 檔案內容 viword-count
原檔案:
3.建立 遠端 檔案目錄: hadoopfs -mkdir test-examples
4.將 word-count3 檔案上傳
5.執行自帶例子:儲存在word-count-result4
檢視輸出結果:
檢視叢集狀態: