hadoop 偽分佈模式搭建(上)
轉載請標明出處:
http://blog.csdn.net/zwto1/article/details/44002083;
本文出自:【zhang_way的部落格專欄】
軟體:
hadoop1.1.2、pietty(在windows系統下登入到linux虛擬機器的遠端登入軟體)、winscp(在本地與遠端計算機間安全的複製檔案)、jdk-6u24-linux-i586.bin、virtualbox上安裝的centos 系統(安裝過程這裡不說了)
安裝步驟:
注:避免安裝過程出現檔案操作許可權導致的問題,以下操作在root使用者下進行。
1.安裝ssh免密碼登入
hadoop 執行過程需要遠端管理hadoop 守護程序,linux 虛擬機器沒有ssh server,安裝命令如下:
apt-get install ssh
hadoop程序之間通訊採用ssh(加密的通訊協議)方式,避免每次都要輸入密碼,為了 自動化操作,,進行如下的配置:
首先生成金鑰:
命令“ssh-keygen -t rsa”表示使用rsa 加密方式生成金鑰, 回車後,會提示三次輸入資訊,直接回車即可。然後進入金鑰資料夾,執行命令:
使用ssh 登入本機是因為hadoop 在本機部署時,需要使用ssh 訪問。
驗證是否可以免密碼登入:
2.安裝jdk
將jdk安裝到/usr/local目錄下,"."解壓檔案
為了以後方便,可以用mv命令重新命名 jdk-6u24-linux-i586.bin為jdk
接下來,將jdk 的命令配置到環境變數中
配置完後,為了檔案的配置立即生效,用該命令:
source /etc/profile
檢驗是否安裝成功:
3.關閉防火牆
有setup命令調出關閉防火牆工具,關閉防火牆的目的是為了避免無謂的錯誤,防火牆本身的作用是,關閉不用的埠,避免伺服器被攻擊。實際工作中不這樣做。
選擇 firewall configuration ,按回車鍵
點空格,*消失,*存在表示防火牆被啟用,之後tab鍵到ok,一步步退出
驗證防火牆是否關閉:
4.virtualbox網路的配置
這裡採用的是host-only連線方式,host-only連線的特點:
在Linux裡進行如下操作:
注意:
上圖 的gateway也就是閘道器地址為在virtualbox host-only network 所手動設定的ip地址 ,意思是虛擬機器通過它來與主機進行互相通訊。
這樣即使本機沒有連線網際網路,虛擬機器和主機還是可以互相通訊的。
5.設定dns解析
因為hadoop 叢集之間通過主機名互相訪問,所以必須設定dns 解析。使用gedit 編輯dns 解析檔案
在檔案後面追加:
192.168.56.100 hadoop (注意兩者之間有空格)
儲存關閉。