01-搭建一個4個節點的CentOS叢集
步驟
1、在虛擬機器中安裝CentOS
2、在每個CentOS中都安裝Java和Perl
3、在4個虛擬機器中安裝CentOS叢集
4、配置4臺CentOS為ssh免密碼互相通訊
1. 在虛擬機器中安裝CenOS
4臺虛擬機器,每臺虛擬機器是1G的記憶體
虛擬機器管理軟體:virtual box
(1)映象選擇
使用CentOS 6.5+映象,安裝minimal版本即可。
(2)建立虛擬機器
開啟VirtualBox,點選“新建”按鈕,點選“下一步”,輸入虛擬機器名稱為eshop-cache01,選擇作業系統為Linux,選擇版本為RedHat,分配1024MB記憶體,後面的選項全部用預設,在Virtual Disk File location and size中,一定要自己選擇一個目錄來存放虛擬機器檔案,最後點選“create”按鈕,開始建立虛擬機器。
(3)設定虛擬機器網絡卡
選擇建立好的虛擬機器,點選“設定”按鈕,在網路一欄中,連線方式中,選擇“Bridged Adapter”。
(4)安裝虛擬機器中的CentOS作業系統
選擇建立好的虛擬機器,點選“開始”按鈕,選擇安裝介質(即本地的CentOS 6.5映象檔案),選擇第一項開始安裝-Skip-歡迎介面Next-選擇預設語言-Baisc Storage Devices-Yes, discard any data-主機名:spark2upgrade01-選擇時區-設定初始密碼為hadoop-Replace Existing Linux System-Write changes to disk-CentOS 6.5自己開始安裝。
(5)重啟
安裝完以後,CentOS會提醒你要重啟一下,就是reboot,你就reboot就可以了。
(6)配置網路
vi /etc/sysconfig/network-scripts/ifcfg-eth0
先IP設定為自動獲取
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=dhcp
service network restart
ifconfig
設定為固定IP
BOOTPROTO=static
IPADDR=192.168.0.X
NETMASK=255.255.255.0
GATEWAY=192.168 .0.1
重啟服務
service network restart
(7)配置hosts
vi /etc/hosts
配置本機的hostname到ip地址的對映
(8)安裝Xmanager
此時就可以使用Xshell從本機連線到虛擬機器進行操作了
一般來說,虛擬機器管理軟體,virtual box,可以用來建立和管理虛擬機器,但是一般不會直接在virtualbox裡面去操作,因為比較麻煩,沒有辦法複製貼上
比如後面我們要安裝很多其他的一些東西,perl,java,redis,storm,複製一些命令直接去執行
Xshell,在windows宿主機中,去連線virtual box中的虛擬機器
(9)關閉防火牆
service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off
vi /etc/selinux/config
SELINUX=disabled
關閉windows的防火牆
後面要搭建叢集,有的大資料技術的叢集之間,在本地你給了防火牆的話,可能會沒有辦法互相連線,會導致搭建失敗
(10)配置yum
yum clean all
yum makecache
2. 在每個CentOS中都安裝Java和Perl
(1)安裝JDK
1、將jdk-7u60-linux-i586.rpm上傳到虛擬機器中
2、安裝JDK:rpm -ivh jdk-7u65-linux-i586.rpm
3、配置jdk相關的環境變數
vi ~/.bashrc
export JAVA_HOME=/usr/local/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc
4、測試jdk安裝是否成功
java -version
(2)安裝Perl
yum install -y gcc
wget http://www.cpan.org/src/5.0/perl-5.16.1.tar.gz
tar -xzf perl-5.16.1.tar.gz
cd perl-5.16.1
./Configure -des -Dprefix=/usr/local/perl
make && make test && make install
perl -v
3. 在4個虛擬機器中安裝CentOS叢集
(1)按照上述步驟,再安裝三臺一模一樣環境的linux機器
(2)另外三臺機器的hostname分別設定為eshop-cache02,eshop-cache03,eshop-cache04
(3)安裝好之後,在每臺機器的hosts檔案裡面,配置好所有的機器的ip地址到hostname的對映關係
比如說,在eshop-cache01的hosts裡面
192.168.31.187 eshop-cache01
192.168.31.xxx eshop-cache02
192.168.31.xxx eshop-cache03
192.168.31.xxx eshop-cache04
4. 配置4臺CentOS為ssh免密碼互相通訊
(1)首先在三臺機器上配置對本機的ssh免密碼登入
ssh-keygen -t rsa
生成本機的公鑰,過程中不斷敲回車即可,ssh-keygen命令預設會將公鑰放在/root/.ssh目錄下
cd /root/.ssh
cp id_rsa.pub authorized_keys
將公鑰複製為authorized_keys檔案,此時使用ssh連線本機就不需要輸入密碼了
(2)接著配置三臺機器互相之間的ssh免密碼登入
使用
ssh-copy-id -i hostname
命令將本機的公鑰拷貝到指定機器的authorized_keys檔案中
scp authorized_keys eshop-cache02:/root/.ssh
scp authorized_keys eshop-cache03:/root/.ssh
scp authorized_keys eshop-cache04:/root/.ssh
基於虛擬機器的linux叢集環境,都準備好了,手上有4臺機器