模板虛擬機器

1 硬體

說明:
1.hadoop100.vmdk生成的物理磁碟檔案,為了方便管理放在hadoop100資料夾下。

2 作業系統

磁碟分割槽：選擇自定義-點選完成-進行分割槽

/boot 檔案系統選ext4

swap 當記憶體不夠時由此區域冒充硬碟

網路和主機名

3 IP地址和主機名稱

需要進行三個地方的ip地址配置:Hadoop100 伺服器、vm、windows伺服器
修改的目的:宿主機windows和虛擬機器linux能夠進行網路連線,同時虛擬機器linux可以通過宿主機window進入網際網路

vm

子網IP192.168.10.0 閘道器IP192.168.10.2
編輯器 - 虛擬網路編輯器
虛擬網絡卡閘道器需要和真實網絡卡閘道器一致

windows10

IP地址192.168.10.1
修改預設閘道器192.168.10.2,首選DNS伺服器192.168.10.2

Hadoop100伺服器

配置網絡卡

配置靜態IP地址192.168.10.100,預設閘道器192.168.10.2,DNS192.168.10.2
作用:因為伺服器的ip總是不變的，
命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33

# 1 按esc切換模式 ins插入
:wq  # 輸入:wq退出檔案

# 2 配置IP地址
# IP地址的配置方法[static(靜態分配)|none(不使用協議)|bootp(bootp協議)|dhcp(DHCP協議)] 
# 預設是DHCP動態分配的
BOOTPROTO=static
IPADDR=192.168.10.100 # IP設定
GATEWAY=192.168.10.2 # 閘道器
DNS1=192.168.10.2 #DNS配置成和閘道器一樣的
NETMASK=255.255.255.0
 

配置主機名及地址對映

作用:修改主機名為一系列有規律的主機名(方便管理)，並修改hosts檔案新增我們需要的主機名和地址對映(方便節點伺服器間通過主機名進行通訊)

修改主機名
vim /etc/hostname
修改主機名為Hadoop100,在安裝桌面系統的時候已經修改了，這裡就不修改啦

修改主機名和地址對映
vim /etc/hosts

通過主機名通訊時,先會去該機的hosts檔案找該主機名的ip，(DNS DomainNameSystem 域名系統的規則一層一層找)

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
 

需求:希望windows可以通過主機名來連線centos

補充:如果是linux主機間.則修改的檔案是/etc/hosts

修改windows的主機對映檔案(hosts檔案)

1.進入c/windows/System32/drivers/etc檔案
2.複製hosts檔案到桌面
3.開啟桌面的hosts檔案並新增如下內容
192.168.10.100 hadoop100
4.用桌面上的hosts檔案覆蓋c/windows/System32/drivers/etc路徑中的hosts檔案

使用主機名連線

檢查
命令:ifconfig
說明:顯示或設定網路裝置

ping 目的主機
說明:ping測試主機之間網路連通訊,測試當前伺服器是否可以連線目的主機

hostname
說明:檢視主機名

遠端訪問工具

伺服器一般放在機房，我們需要遠端訪問伺服器。
使用的是Xshell，連線hadoop100

把windows的檔案傳進linux裡 xftp

Xshell使用卡一卡的，最後選擇使用SecureCRT

其他準備

1 epel-release安裝

一個軟體倉庫，大多數rpm包在官方repository中找不到，所以需要額外安裝一個軟體倉庫

yum install -y epel-release

最小系統版還需要安裝

• net-tool 工具包集合，包含ifconfig等命令
• vim 編輯器

yum install -y net-tools
yum install -y vim

2 關閉防火牆

通常單個伺服器的防火牆是關閉的，整體對外會設定非常安全的防火牆

# 關閉防火牆
systemctl stop firewalld 
# 關閉開機自啟防火牆
systemctl disable firewalld.service  

3 使用者配置管理員許可權

目的:方便後期sudo執行root許可權的命令。
root使用者進行配置，不然會許可權不夠

vim /etc/sudoers

# 在%wheel行下新增
ranan ALL=(ALL) NOPASSWD:ALL

這行新增不要直接放在root行下面。因為所有使用者都屬於wheel組，先執行了這行免密後，執行到wheel時，又會被覆蓋回需要密碼。

/opt/module 用於存放安裝的軟體
/opt/software 用於存放安裝包

4 解除安裝虛擬機器自帶的JDK

桌面版本會預設自動安裝JDK

rpm -qa | grep -i java | xargs -nl rpm -e --nodeps

rpm -qa：檢視所安裝的所有rpm軟體包
grep -i：忽略大小寫
xargs -nl：表示每次只傳遞一個引數
rpm -e --nodeps:強制解除安裝軟體

rpm -qa | grep -i java執行之後發現查不出東西,我的虛擬機器沒有安裝

最後reboot重啟

克隆虛擬機器

利用模板及hadoop100，克隆三臺虛擬機器:hadoop102 hadoop103 hadoop104

克隆

修改主機名/ip

以102為例子

修改IP地址
配置靜態IP地址192.168.10.102

命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主機名
命令:vim /etc/hostname

最後reboot

安裝jdk

在hadoop102上安裝JDK，因為通常103、104上的JDK是從102上拷貝，所以不需要單獨在103、104上安裝JDK

1 上傳jdk和hadoop安裝包

SecureCRT上傳檔案

2 解壓安裝包進module資料夾下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3 配置JDK環境變數

方便使用到JDK的程式能正常呼叫JDK

1.進入到JDK後，獲取JDK路徑 /opt/module/jdk1.8.0_212

2.新建環境變數檔案

/etc/profile檔案，該檔案屬於root使用者，如果其他使用者需要使用sudo vim命令對它進行編輯
profile檔案

profile.d目錄

按照這個原理，我們自己新建一個my_env.sh檔案

3.修改檔案後，需要執行source命令使修改後的檔案生效

安裝hadoop

1 解壓安裝包進module資料夾下

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

2 配置環境變數

檔案路徑:/opt/module/hadoop-3.1.3
修改配置檔案: vim /etc/profile.d/my_env.sh

修改後執行source /etc/profile使其生效