1. 程式人生 > >基於偽分散式hadoop搭建完全分散式

基於偽分散式hadoop搭建完全分散式

上篇部落格中,我們搭建了單機版和偽分散式版的hadoop。但是在真正的開發中都是用的完全分散式hadoop環境。
因此今天我們就來搭建一下完全分散式hadoop環境。
前提:有四臺解壓了hadoop和javajdk,且其中一臺作為namenode需要已經搭建成了偽分散式,其他三臺作為datanode,所以這三臺還不需要配置環境

完全分散式hadoop

在xshell中右擊,最下方有個“傳送鍵輸入到所有會話”,點選後可以在一臺輸入時,當前所有會話都有反應了。
然後開始編輯:

在datanode中

1.vim /etc/profile 將hadoop和java環境配置一下
在這裡插入圖片描述

在namenode中

2.vim slaves 設定三個datanode的ip
在這裡插入圖片描述在這裡插入圖片描述
3.vim /etc/hosts
在這裡插入圖片描述
4.將這些檔案傳到datanode上
在這裡插入圖片描述
使用
scp -r 要傳輸的內容目錄 要穿到的電腦的使用者名稱@要穿到的電腦的ip:要穿到的電腦的位置目錄
在這裡插入圖片描述
將三臺都穿好
然後ssh-keygen 生成金鑰 直接四個空格
然後 將三個 配置好,這樣就可以免密登入了ssh-copy-id datanode的使用者名稱@datanode的ip
和cat id_rsa.pub >> ~/.ssh/authorized_keys 配置namenode的免密

最後在namenode上

使用start-all.sh啟動
這時使用jps檢視namenode和三個datanode
在namenode中的顯示
在這裡插入圖片描述

在datanode中的顯示
在這裡插入圖片描述
那麼這時你的完全分散式就搭建完成啦