1. 程式人生 > 其它 >Hadoop偽分散式環境搭建

Hadoop偽分散式環境搭建

Hadoop偽分散式環境搭建
1.準備環境(VMware、CentOS/node-14.rar)
-解壓 node-14.rar這個壓縮包到指定目錄
-找到解壓後的nodc/nodc.vmx 這個檔案
-在VMware中彈出的警告框中選擇【獲取所有權】
-點選【開啟虛擬機器】,彈出框中選擇【我已移動該虛擬機器】
-啟動完畢後,輸入密碼和使用者名稱(密碼,使用者名稱預設都是root,輸入密碼時不會顯示)
2.配置網路
-檢視當前虛擬機器的網路環境:找到編輯—虛擬網路編輯器—Wmnel8—子網IP(記住自己的網段)
-通過一個命令nmtui 回車,修改網路
通過鍵盤的方向鍵—Edit a connection—(Edit....)— Addresses修改網段—修改完畢後 移動到OK,退出Back—Quit—OK
-退出後,重啟虛擬機器。輸入reboot
-測試網路暢通 ping baidu.com返回資料包,表示暢通 結束資料包返回(Ctrl+C)
3.安裝Hadoop和JDK軟體
-(下載安裝包)
-安裝模擬終端工具,解壓到任意目錄
-開啟模擬終端工具—新建一個會話—輸入遠端主機和使用者名稱
-進入輸入使用者名稱和密碼(密碼不會顯示)
-上傳到指定目錄:(自己設定)
輸入:cd 自己設定的目錄 (通過pwd 檢視目錄)複製這個目錄到左上角輸入框裡,回車,點上傳按鈕,選擇jdk和hadoop安裝包上傳
-安裝jkd和hadoop軟體
(1)解壓jkd和hadoop安裝包到指定目錄(前面自己設定的)tar -zxvf jdk的安裝包 tar -zxvf hadoop的安裝包
(2)刪除安裝包 rm -rf *.gz
(3)把解壓的資料夾重新命名為hadoop和jdk
mv hadoop-2.7.3/ hadoop
mv ….. (修改jdk與上面同理)
(4)配置環境變數 .bash_profile
輸入安裝命令:yum install -y vim
輸入命令:vim /root/.bash_profile
編輯檔案,在最後面新增:

 

 


輸入完畢後,儲存退出
需要上述配置生效,需要執行命令: source/root/.base_profile
(5)測試Jdk和Hadoop是否配置成功
java -version
hadoop version

 

修改Hadoop配置檔案
1)cd hadoop/etc/hadoop
2)修改hadoop-env.sh  檔案
輸入:vim hadoop-env.sh,進入文字編輯器,找到export JAVA_HOME的配置,修改後面的值:export JAVA_HOME=/usr/local/src/jdk
修改完畢後,儲存退出
3)輸入命令:vim core-site.xml,進入文字編輯器,在(configuration)(/configuration)標籤之間新增以下程式碼:

 

 


修改完畢,儲存退出。 
4)修改hdfs-site.xml檔案
(與上面同理)新增以下程式碼:

 

 

5)修改slaves檔案
輸入:vim slaves 進入文字編輯器,修改localhost為node
修改完畢,儲存退出