8.Hadoop的學習(Hadoop的配置--搭建完全分散式)
搭建偽分散式請檢視本部落格https://blog.csdn.net/wei18791957243 裡面的三個搭建偽分散式的部落格
- 前提是偽分散式可以正常啟動。
- 點開虛擬機器上邊的選單欄中的虛擬機器內的快照功能。(快照:可以及時儲存當前操作,也就是儲存這個節點,等需要的話可以讓系統恢復到這個節點上。)
- 進入作業系統後:(cd /etc)檢視本機名(cat hostname)修改本機名(sudo gedit hostname)修改的時候儘量修改成簡單的,後面設定完全分散式的時候會比較方便。如:修改主機名為:hadoop
- 修改完之後重新啟動
- 關閉系統,點選克隆。(克隆的時候選擇第2個,建立完整克隆)
- 克隆3份,然後依次開啟克隆的1,2。(虛擬機器在開啟的時候會預設給作業系統分配虛擬ip地址。)
- 首先分別檢視克隆的這2臺虛擬機器的ip地址
- (1)在克隆虛擬機器1上面開啟命令列,修改主機名為:hadoop-1 ,然後儲存
( 2)進入到etc目錄下修改 passwd檔案裡面的使用者名稱為ubuntu 如圖
(3) 然後要修改etc裡面的hosts檔案的許可權 : 設定許可權為所有的都為rwx : 執行命令:sudo chmod 777 hosts
(4) 在第二個克隆機裡面修改主機名為:hadoop-2
並且在執行(2) 修改passwd 檔案 ,再執行(3) 修改hosts檔案的許可權
(5)兩個克隆機都修改完之後,都要重新啟動
9.在主機名為hadoop的虛擬機器裡面開始配置檔案。
(1)執行命令進入到如下的資料夾 cd /usr/soft/hadoop-2.7.1/etc/hadoop_pseudo/
進入後修改兩個檔案 ,
修改core-site.xml檔案 畫紅線即為修改後的 如圖
修改 hdfs-site.xml 數字2 即有兩個克隆機(修改成完全分散式叢集需要幾個偽分散式,這裡填寫2)
(2)然後修改檔案裡面的內容,修改完之後(修改成完全分散式叢集需要的叢集主機名)如圖
(3)切換目錄到 /etc下 , (修改hosts檔案,在後面加上ip地址 主機名(一個三個))
給hosts檔案後面新增內容,新增完內容之後,檢視檔案,檔案就會如圖:
注意:ip的地址和主機名不要新增錯了。
(4) 然後將hosts檔案依次拷貝到其他的兩個克隆機裡面
執行命令:命令的格式:
按照我們之前配置好的,
輸入命令:scp /etc/hosts [email protected]:/etc 給第一個克隆機拷貝
輸入命令:scp /etc/hosts [email protected]:/etc 給第二個克隆機拷貝
在輸入命令後按照提示輸入密碼,或者yes!
10 .完成上面的步驟,完全分散式就配置完成了,
然後開啟完全分散式 ,和開啟偽分散式一樣
格式化 hadoop namenode -format
然後 ssh localhost
然後按照偽分散式的啟動方式來啟動完全分散式就行了
11. 啟動後,輸入如下的命令,如圖 完全分散式就啟動成功了
11. 可一看到節點分別再其他的主機上面了,這樣就完成了 完全分散式啟動
關閉完全分散式也是和關閉偽分散式的是一樣的·