1. 程式人生 > >hadoop 偽分佈模式搭建(上)

hadoop 偽分佈模式搭建(上)

轉載請標明出處: 
http://blog.csdn.net/zwto1/article/details/44002083; 
本文出自:【zhang_way的部落格專欄】

軟體

hadoop1.1.2、pietty(在windows系統下登入到linux虛擬機器的遠端登入軟體)、winscp(在本地與遠端計算機間安全的複製檔案)、jdk-6u24-linux-i586.bin、virtualbox上安裝的centos 系統(安裝過程這裡不說了)

安裝步驟:

注:避免安裝過程出現檔案操作許可權導致的問題,以下操作在root使用者下進行。

1.安裝ssh免密碼登入

hadoop 執行過程需要遠端管理hadoop 守護程序,linux 虛擬機器沒有ssh server,安裝命令如下:

apt-get install ssh

hadoop程序之間通訊採用ssh(加密的通訊協議)方式,避免每次都要輸入密碼,為了 自動化操作,,進行如下的配置:

首先生成金鑰:


命令“ssh-keygen -t rsa”表示使用rsa 加密方式生成金鑰, 回車後,會提示三次輸入資訊,直接回車即可。然後進入金鑰資料夾,執行命令:


使用ssh 登入本機是因為hadoop 在本機部署時,需要使用ssh 訪問。

驗證是否可以免密碼登入:



2.安裝jdk

將jdk安裝到/usr/local目錄下,"."解壓檔案


為了以後方便,可以用mv命令重新命名 jdk-6u24-linux-i586.bin為jdk

接下來,將jdk 的命令配置到環境變數中 


配置完後,為了檔案的配置立即生效,用該命令:

source  /etc/profile
檢驗是否安裝成功:


3.關閉防火牆

有setup命令調出關閉防火牆工具,關閉防火牆的目的是為了避免無謂的錯誤,防火牆本身的作用是,關閉不用的埠,避免伺服器被攻擊。實際工作中不這樣做。


選擇 firewall configuration ,按回車鍵


點空格,*消失,*存在表示防火牆被啟用,之後tab鍵到ok,一步步退出

驗證防火牆是否關閉:


4.virtualbox網路的配置

這裡採用的是host-only連線方式,host-only連線的特點:

虛擬機器訪問主機,用的是主機的VirtualBox Host-Only Network網絡卡的IP:192.168.56.1  ,不管主機“本地連線”有無紅叉,永遠通。 主機訪問虛擬機器,用是的虛擬機器的網絡卡3的IP: 192.168.56.101  ,不管主機“本地連線”有無紅叉,永遠通。 虛擬機器訪問網際網路,用的是自己的網絡卡2, 這時主機要能通過“本地連線”有線上網,(無線網絡卡不行) 開始配置:


在Linux裡進行如下操作


注意:

上圖 的gateway也就是閘道器地址為在virtualbox  host-only network 所手動設定的ip地址 ,意思是虛擬機器通過它來與主機進行互相通訊。

這樣即使本機沒有連線網際網路,虛擬機器和主機還是可以互相通訊的。

5.設定dns解析

因為hadoop 叢集之間通過主機名互相訪問,所以必須設定dns 解析。使用gedit 編輯dns 解析檔案


在檔案後面追加:

192.168.56.100   hadoop  (注意兩者之間有空格)

儲存關閉。