ubuntu安裝hadoop(叢集搭建)
說明:搭建4臺伺服器
1.將之前搭建的單節點的虛擬機器在vm中克隆(注意完全克隆不是連結克隆)
將克隆的第一臺虛擬機器取名為data1
2.對data1進行如下修改
a.修改ip將ip設定為192.168.1.112 修改ip請參考:ubuntu的基本設定
b.將/etc/hostname檔案修改
vi /etc/hostname
刪除原先內容改為data1
c.修改hosts檔案
vi /etc/hosts
d.修改配置檔案
修改core-site.xml
修改yarn-site.xml
修改mapred-site.xml
修改hdfs-site.xml
3.將data1克隆三份分別為data2,data3,master
方法同上
4.設定data2與data3
a.修改ip
b.修改hostname
5.設定master
a.設定ip
b.設定hostname為master
c.設定配置檔案
修改hdfs-site.xml
修改matsers
vi /home/lzd/software/hadoop-2.6.5/etc/hadoop/master
寫入master
修改slaves
vi /home/lzd/software/hadoop-2.6.5/etc/hadoop/slaves
寫入
6.在master主機上通過ssh修改data1,dada2,dada3
a.連線data1 ssh data1
b.刪除hadoop目錄下hadoop_data目錄 rm -rf hadoop_data
d.建立datanode mkdir -p hadoop_data/hdfs/datanode
c.修改目錄所有者 sudo chown -R lzd:lzd /home/lzd/software/hadoop-2.6.5
d.退出exit
e.同樣的修改data2,data3
7.建立並格式化hdfs目錄
a.刪除hadoop目錄下hadoop_data目錄 rm -rf hadoop_data
b.建立datanode mkdir -p hadoop_data/hdfs/namenode
c.修改目錄所有者 sudo chown -R lzd:lzd /home/lzd/software/hadoop-2.6.5
d.格式化hdfs目錄hadoop namenode -format
8.啟動檢查
a.master下 start-all.sh
b.jps
c.登入dada1,dada2,dada3輸入jps檢視
最終效果如下: