大資料元件的執行環境預配置
預設條件
假定有4臺機,閘道器是192.168.100.1,主機名和IP分別設定為:
c1 192.168.100.105 c2 192.168.100.110 c3 192.168.100.115 c4 192.168.100.120
* 如果是搭建Ambari平臺安裝Hadoop元件,則需要使用FQDN格式(Hostname + DomainName),就是配置主機名的同時要配置域名。
一、主機屬性配置
1.修改主機名
(1) 修改cloud.cfg配置,使新主機名變成預設(如果不修改此屬性,則重啟後會恢復原主機名)
vim /etc/cloud/cloud.cfg
把preserve_hostname屬性的值改成true
preserve_hostname:true
* 如果cloud.cfg沒有此屬性,可以直接在cloud_init_modules模組前新增該行。
(2) 修改每臺機的主機名
hostnamectl set-hostname 主機名
四臺機的主機名分別改為(這裡只是舉例,可自定義):c1、c2、c3、c4
* 如果是搭建Ambari平臺安裝Hadoop,則需要設定為FQDN格式(Hostname + DomainName),否則安裝時會報警。
示例如下(這裡的clotho.com只是舉例,可自定義):
c1.clotho.com c2.clotho.com c3.clotho.com c4.clotho.com
(3)修改後需要重啟系統
2.修改固定IP
修改50-cloud-init.yaml檔案(有的Ubuntu版本是00-installer-config.yaml檔案)
vim /etc/netplan/50-cloud-init.yaml
修改每臺機的addresses和gateway4引數,例如c2的是addresses: [192.168.100.110/24],gateway4: 192.168.100.1。
network: ethernets: enp2s0: addresses: [192.168.1.6/24] gateway4: 192.168.1.1 nameservers: addresses: [114.114.114.114, 202.96.128.86] dhcp4: no optional: no version: 2
修改儲存後更新
netplan apply
3.修改DNS檔案
vim /etc/hosts
在末尾加入以下:
192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4
二、主機訪問許可權配置
1.免密登入
https://www.cnblogs.com/live41/p/15522584.html
三、主機系統配置
1.調整時區
https://www.cnblogs.com/live41/p/14237170.html
2.安裝時間同步工具(NTP)
NTP是通過網路來同步時間的一種TCP/IP協議
apt install ntp update-rc.d ntp defaults #設定開機自啟動
附:關閉開機自啟動
update-rc.d -f ntp remove
3.設定最大開啟檔案數
(1) 檢視
ulimit -Hn #檢視硬限制 ulimit -Sn #檢視軟限制
(2) 設定
低於10000時,設定10000或以上的值。
ulimit -Hn 10000 #只設定硬限制 ulimit -Sn 10000 #只設定軟限制
也可以直接同時設定:
ulimit -n 10000 #同時設定兩個限制
4.關閉SELinux
SELinux(Security-Enhanced Linux),控制檔案訪問許可權
apt install selinux-utils setenforce 0
5.關閉防火牆
ufw disable iptables -X iptables -t nat -F iptables -t nat -X iptables -t mangle -F iptables -t mangle -X iptables -P INPUT ACCEPT iptables -P FORWARD ACCEPT iptables -P OUTPUT ACCEPT
如果是CentOS,還需要操作以下:
systemctl stop firewalld # 關閉 systemctl disable firewalld # 取消開機啟動
四、安裝執行環境
1.安裝JDK