目錄

本文主要介紹在 Windows 宿主機上使用 VirtualBox 搭建三節點 CentOS 叢集實驗環境。

實驗環境

• Windows 宿主機：Windows 10 企業版
• VirtualBox 版本：VirtualBox 5.1.10
• CentOS 版本：CentOS 6.4
• Xshell 版本：Xshell 5

建立虛擬機器

使用VirtualBox建立三臺CentOS作為專案實驗叢集。

點選“新建”按鈕開始建立虛擬機器。

填寫虛擬機器名稱，選擇型別為“Linux”，版本為“Red Hat（32-bit）”

記憶體根據自己實際情況，儘可能選擇大些。

選擇目錄和磁碟大小，目錄位置後續會佔用大量磁碟空間，根據自己磁碟實際情況選擇。
虛擬硬碟大小數值儘量設定大些，避免後續虛擬硬碟不足情況，實際佔用本地硬碟會根據實際數量進行分配。

建立好虛擬機器後在“設定”中設定“網路”連線方式為“橋接網絡卡”，並且在“介面名稱”中根據實際使用的網絡卡進行選擇（一般會自動匹配）。

在“儲存”中選擇磁碟映象

安裝CentOS

點選“啟動”按鈕，開始安裝CentOS

選擇“skip”

選擇“yes，discard any data”

設定hostname

選擇shanghai時區

設定root密碼

如果密碼較弱會彈出“Weak Password”提示，選擇“Use Anyway”

選擇“Write change to disk”

點選“Reboot”重啟系統。

使用root使用者和root密碼登陸

設定ip

獲取動態ip

vi /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=dhcp

service network restart

此時檢視ip

ifconfig

設定靜態ip

vi /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.102
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

IPADDR為之前動態ip分配的，GATEWAY根據自己情況填寫

重啟網絡卡

service network restart

測試網路

配置hosts

vi /etc/hosts

配置宿主機（Windows主機）上的hosts
在C:\Windows\System32\drivers\etc\hosts檔案末尾新增

#sparkproject
192.168.1.102 sparkproject1

使用Xshell連線虛擬機器

可選擇“記住使用者名稱”和“記住密碼”選項，以後可以直接登陸

關閉防火牆

service iptables stop
service ip6tables stop
service iptables status
service ip6tables status

chkconfig iptables off
chkconfig ip6tablesoff

修改配置檔案

vi /etc/selinux/config

SELINUX=disabled

安裝jdk

刪除/usr/local/目錄下的所有檔案

安裝lrzsz傳輸工具

yum install lrzsz

傳輸jdk檔案到/usr/local目錄下

rz

安裝jdk

rpm -ivh jdk-7u65-linux-i586.rpm

配置jdk相關的環境變數

vi ~/.bashrc

export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin

使配置生效

source ~/.bashrc

測試jdk安裝是否成功

java -version

刪除網路配置檔案

rm -f /etc/udev/rules.d/70-persistent-net.rules

安裝三節點虛擬機器

克隆或相同的方式再安裝兩臺一模一樣的虛擬機器，hostname分別設定為sparkproject2和sparkproject3。

為避免出錯，而且只是三節點，沒有使用克隆，而是手動安裝。

配置叢集Ssh免密碼登陸

在各節點hosts中新增三臺虛擬機器的ip

Ping測試，三個節點能相互ping通

在三臺機器上配置對本機的ssh免密碼登入

ssh-keygen -t rsa

生成本機的公鑰，過程中不斷敲回車即可

將公鑰複製為authorized_keys檔案，此時使用ssh連線本機就不需要輸入密碼了

cd /root/.ssh
cp id_rsa.pub authorized_keys

其他三個節點同樣執行上述操作

配置三臺機器互相之間的ssh免密碼登入

ssh-copy-id -i sparkproject2

提示輸入密碼時輸入相應節點的密碼

測試，無需輸入密碼能夠登陸成功即為設定成功

然後在各節點上執行相應的操作

至此，三節點CentOS叢集即搭建成功，後續會此基礎上安裝hadoop、zookeepr、kafka、flume和spak等叢集。