1. 程式人生 > >ubuntu安裝hadoop(叢集搭建)

ubuntu安裝hadoop(叢集搭建)

說明:搭建4臺伺服器


1.將之前搭建的單節點的虛擬機器在vm中克隆(注意完全克隆不是連結克隆)

將克隆的第一臺虛擬機器取名為data1

2.對data1進行如下修改

 a.修改ip將ip設定為192.168.1.112 修改ip請參考:ubuntu的基本設定

 b.將/etc/hostname檔案修改

vi /etc/hostname 

刪除原先內容改為data1

c.修改hosts檔案

vi /etc/hosts

d.修改配置檔案

修改core-site.xml


修改yarn-site.xml


修改mapred-site.xml


修改hdfs-site.xml


3.將data1克隆三份分別為data2,data3,master

方法同上

4.設定data2與data3

a.修改ip

b.修改hostname 

5.設定master

a.設定ip

b.設定hostname為master

c.設定配置檔案

  修改hdfs-site.xml


修改matsers 

vi /home/lzd/software/hadoop-2.6.5/etc/hadoop/master

寫入master

修改slaves

vi /home/lzd/software/hadoop-2.6.5/etc/hadoop/slaves

寫入


6.在master主機上通過ssh修改data1,dada2,dada3

a.連線data1  ssh data1

b.刪除hadoop目錄下hadoop_data目錄 rm -rf hadoop_data

d.建立datanode  mkdir -p hadoop_data/hdfs/datanode

c.修改目錄所有者 sudo chown -R lzd:lzd /home/lzd/software/hadoop-2.6.5

d.退出exit

e.同樣的修改data2,data3

7.建立並格式化hdfs目錄

a.刪除hadoop目錄下hadoop_data目錄 rm -rf hadoop_data

b.建立datanode  mkdir -p hadoop_data/hdfs/namenode

c.修改目錄所有者 sudo chown -R lzd:lzd /home/lzd/software/hadoop-2.6.5

d.格式化hdfs目錄hadoop namenode -format

8.啟動檢查

a.master下 start-all.sh

b.jps

c.登入dada1,dada2,dada3輸入jps檢視


最終效果如下: