Hadoop實戰(一) 在VMWare上搭建centos虛擬機器叢集
阿新 • • 發佈:2018-12-25
一、VMware的下載和安裝
cd /mnt/cdrom
(2)將安裝包(以tar.gz結尾的壓縮檔案)解壓到有許可權的目錄(例如使用者目錄)
tar -zxvf VMwareTools-9.6.0-1294478.tar.gz -C ~
(3)進入解壓後的資料夾進行安裝
cd vmware-tools-distrib ./vmawre-install.pl
注意:如果不能安裝,可能是沒有安裝perl, 只需要執行 yum install perl 安裝perl之後再執行 ./vmawre-install.pl 即可
(4)安裝過程一路enter, 安裝完成需要重啟虛擬機器生效
將三臺虛擬機器設定為同一個主機共享目錄,則可以實現主機與虛擬機器之間以及不同虛擬機器之間的檔案同步
對每個虛擬機器,點選vmware上虛擬機器(右鍵) --> 設定 --> 選項,選擇共享資料夾,永久共享,新增一個本機的目錄所為共享目錄,併為這個共享起一個名字,例如叫share。這樣在虛擬機器上的 /mnt/hgfs下會自動生成share資料夾保持與主機上的目錄實時一致,重啟生效。
由於我們電腦連線新的WiFi環境時,經常會出現虛擬機器地址變化的情況(預設dhcp分配IP地址),我們可以將虛擬機器的地址設定成靜態的
(1)點選選單欄 編輯 --> 虛擬網路編輯器 在出現的對話方塊中選擇 VMnet8 也就是NAT模式,檢視子網地址,這裡是 192.168.208.0
(2)點選下面的 NAT設定 來檢視閘道器地址,我這裡是192.168.208.2
(3)選中某個虛擬機器,修改配置檔案
vi /etc/sysconfig/network #新增GATEWAY為上一步閘道器的地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
(4)重啟虛擬機器生效
(1)下載安裝Xshell
(2)點選選單欄的 檔案 --> 新建, 輸入名稱和虛擬機器的IP地址並確定
(3)接受並儲存
(4)輸入使用者名稱和密碼(自動儲存)
至此,三臺虛擬機器搭建完畢,下一篇我們會具體搭建Hadoop叢集,敬請期待~
下載VMware
安裝VMware:一路Next即可
二、centos的下載和安裝
下載centos
安裝三個centos 64位虛擬機器(master slave1 slave2)
在搭建Hadoop時,master將會作為namenode節點,兩個slave作為datanode節點
每臺虛擬機器我分配了1G記憶體20G硬碟
安裝虛擬機器時可以選擇沒有介面的minimal模式安裝,執行更快,更省記憶體。
網路方式可以選擇NAT方式,便於之後設定靜態網路地址
安裝虛擬機器過程可以參考如下網址:
三、虛擬機器的配置
1、安裝VMware Tools
安裝VMware Tools是為了實現本機和虛擬機器之間共享資料夾以及直接複製貼上和拖拽等功能
(1)選中某個虛擬機器,點選選單欄的 虛擬機器 --> 安裝 VMware Tools
如果安裝的是帶有使用者介面的虛擬機器,則自動開啟一個包含vmware安裝包的位置
如果安裝的是不帶使用者介面的虛擬機器,則需要手動執行以下命令來出現vmware安裝包的位置
mkdir /mnt/cdrom
mount /dev/cdrom /mnt/cdromcd /mnt/cdrom
(2)將安裝包(以tar.gz結尾的壓縮檔案)解壓到有許可權的目錄(例如使用者目錄)
tar -zxvf VMwareTools-9.6.0-1294478.tar.gz -C ~
cd vmware-tools-distrib ./vmawre-install.pl
注意:如果不能安裝,可能是沒有安裝perl, 只需要執行 yum install perl 安裝perl之後再執行 ./vmawre-install.pl 即可
(4)安裝過程一路enter, 安裝完成需要重啟虛擬機器生效
2、設定共享位置
設定虛擬機器與主機之間的共享位置,這樣主機和虛擬機器將保持檔案同步,便於操作和同步將三臺虛擬機器設定為同一個主機共享目錄,則可以實現主機與虛擬機器之間以及不同虛擬機器之間的檔案同步
對每個虛擬機器,點選vmware上虛擬機器(右鍵) --> 設定 --> 選項,選擇共享資料夾,永久共享,新增一個本機的目錄所為共享目錄,併為這個共享起一個名字,例如叫share。這樣在虛擬機器上的 /mnt/hgfs下會自動生成share資料夾保持與主機上的目錄實時一致,重啟生效。
3、設定靜態ip地址
由於我們電腦連線新的WiFi環境時,經常會出現虛擬機器地址變化的情況(預設dhcp分配IP地址),我們可以將虛擬機器的地址設定成靜態的
(1)點選選單欄 編輯 --> 虛擬網路編輯器 在出現的對話方塊中選擇 VMnet8 也就是NAT模式,檢視子網地址,這裡是 192.168.208.0
(2)點選下面的 NAT設定 來檢視閘道器地址,我這裡是192.168.208.2
(3)選中某個虛擬機器,修改配置檔案
vi /etc/sysconfig/network #新增GATEWAY為上一步閘道器的地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
(4)重啟虛擬機器生效
4、利用Xshell客戶端訪問虛擬機器
Xshell是一個特別好用的Linux遠端客戶端,有許多快捷的功能,比直接在虛擬機器中操作命令方便很多。(1)下載安裝Xshell
(2)點選選單欄的 檔案 --> 新建, 輸入名稱和虛擬機器的IP地址並確定
(3)接受並儲存
(4)輸入使用者名稱和密碼(自動儲存)
至此,三臺虛擬機器搭建完畢,下一篇我們會具體搭建Hadoop叢集,敬請期待~