1. 程式人生 > 其它 >大資料元件的執行環境預配置

大資料元件的執行環境預配置

預設條件

假定有4臺機,閘道器是192.168.100.1,主機名和IP分別設定為:

c1  192.168.100.105
c2  192.168.100.110
c3  192.168.100.115
c4  192.168.100.120

* 如果是搭建Ambari平臺安裝Hadoop元件,則需要使用FQDN格式(Hostname + DomainName),就是配置主機名的同時要配置域名。

一、主機屬性配置

1.修改主機名

(1) 修改cloud.cfg配置,使新主機名變成預設(如果不修改此屬性,則重啟後會恢復原主機名)

vim /etc/cloud/cloud.cfg

把preserve_hostname屬性的值改成true

preserve_hostname:true

* 如果cloud.cfg沒有此屬性,可以直接在cloud_init_modules模組前新增該行。

(2) 修改每臺機的主機名

hostnamectl set-hostname 主機名

四臺機的主機名分別改為(這裡只是舉例,可自定義):c1、c2、c3、c4

* 如果是搭建Ambari平臺安裝Hadoop,則需要設定為FQDN格式(Hostname + DomainName),否則安裝時會報警。

示例如下(這裡的clotho.com只是舉例,可自定義):

c1.clotho.com
c2.clotho.com
c3.clotho.com
c4.clotho.com

(3)修改後需要重啟系統

2.修改固定IP
修改50-cloud-init.yaml檔案(有的Ubuntu版本是00-installer-config.yaml檔案)

vim /etc/netplan/50-cloud-init.yaml

修改每臺機的addresses和gateway4引數,例如c2的是addresses: [192.168.100.110/24],gateway4: 192.168.100.1。

network:
    ethernets:
        enp2s0:
            addresses: [192.168.1.6/24]
            gateway4: 192.168.1.1
            nameservers:
                    addresses: [114.114.114.114, 202.96.128.86]
            dhcp4: no
            optional: no
    version: 2

修改儲存後更新

netplan apply

3.修改DNS檔案

vim /etc/hosts

在末尾加入以下:

192.168.100.105 c1
192.168.100.110 c2
192.168.100.115 c3
192.168.100.120 c4

二、主機訪問許可權配置

1.免密登入

https://www.cnblogs.com/live41/p/15522584.html

三、主機系統配置

1.調整時區

https://www.cnblogs.com/live41/p/14237170.html

2.安裝時間同步工具(NTP)

NTP是通過網路來同步時間的一種TCP/IP協議

apt install ntp
update-rc.d ntp defaults #設定開機自啟動

附:關閉開機自啟動

update-rc.d -f ntp remove

3.設定最大開啟檔案數

(1) 檢視

ulimit -Hn #檢視硬限制
ulimit -Sn #檢視軟限制

(2) 設定

低於10000時,設定10000或以上的值。

ulimit -Hn 10000 #只設定硬限制
ulimit -Sn 10000 #只設定軟限制

也可以直接同時設定:

ulimit -n 10000 #同時設定兩個限制

4.關閉SELinux

SELinux(Security-Enhanced Linux),控制檔案訪問許可權

apt install selinux-utils
setenforce 0

5.關閉防火牆

ufw disable
iptables -X
iptables -t nat -F
iptables -t nat -X
iptables -t mangle -F
iptables -t mangle -X
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -P OUTPUT ACCEPT

如果是CentOS,還需要操作以下:

systemctl stop firewalld       # 關閉
systemctl disable firewalld    # 取消開機啟動

四、安裝執行環境

1.安裝JDK

https://www.cnblogs.com/live41/p/14235891.html