一、 安裝前的準備

軟硬體需求：

修改網路：

[[email protected] ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE=eth0
HWADDR=00:0C:29:62:85:30
TYPE=Ethernet
UUID=c0202d5d-edd3-4058-88ca-e0194131f6ce
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR="192.168.1.221"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
[[email protected] ~]# 

修改/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.221   master

修改主機名：

[root@master ~]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
[root@master ~]# more /proc/sys/kernel/hostname 
 

master
[root@master ~]# 

1.1java環境變數

以root許可權， 在所有伺服器上執行操作
1.1.1、刪除openjkdk:

rpm -qa |grep openjdk |xargs -i yum -y remove {}

1.1.2、

cd /var/www/html/
tar -zxvf jdk-8u101-linux-x64.tar.gz
mv jdk1.8.0_101/ java
mv java /usr/
# java_home=/usr/java

#在/etc/profile中配置java的環境變數
vi /etc/profile
#shift+G 到文字最後一行：新增下面幾行

#java 
export JAVA_HOME=/usr/java/
export JAVA_BIN=$JAVA_HOME/bin
export PATH=$PATH:$JAVA_BIN
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


# 使環境變數立刻生效：
source /etc/profile
#檢視環境變數是否配置好了
java -version   檢視是否是安裝的版本

查詢如下：
[[email protected] html]# java -version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
[[email protected] html]# 

1.2 防火牆配置：

建議將防火牆關閉， 以root許可權(在所有伺服器上執行操作)

檢視防火牆的狀態
chkconfig iptables --list
關閉防火牆
chkconfig iptables off

1.3、關閉SELinux

以root許可權(在所有伺服器上執行操作)

臨時關閉：#setenforce 0
長久關閉：編輯/etc/sysconfig/selinux；修改SELINUX=disabled

1.4NTP伺服器配置

以root許可權， (在所有伺服器上執行操作)

在log16上配置ntp伺服器，其他伺服器跟log16同步
配置方法：
Log16:修改/etc/ntp.conf
###############
server 127.127.1.0 minpoll 4 maxpoll 5
fudge 127.127.1.0 stratum 2
restrict 127.0.0.1
driftfile /var/lib/ntp/drift
################
置空/etc/ntp目錄下的ntpservers檔案；
修改/etc/ntp目錄下的step-tickers檔案如下：127.127.1.0
#service ntpd restart                       //重啟ntp服務
其他log節點伺服器，修改/etc/ntp.conf
################
server 10.180.91.16 minpoll 4 maxpoll 5
fudge 127.127.1.0 stratum 3
restrict 127.0.0.1
driftfile /var/lib/ntp/drift
logfile /var/log/ntp.log
restrict 10.180.91.16 mask 255.255.255.255
#################
置空/etc/ntp目錄下的ntpservers檔案；
修改/etc/ntp目錄下的step-tickers檔案如下：10.180.91.16
其他的伺服器上啟動ntpd服務，依次執行
#service ntpd start                       //其他sever執行同樣操作

1.5、OS層引數

HBase在執行時需要操作的open files數超過預設值，一般是1024 ，最大可以設定為：65536。
配置修改：對叢集內所有機器進行如下配置修改：

vi /etc/security/limits.conf
#然後新增如下引數：
*               soft    nproc   65536
*               hard    nproc   65536
*               soft    nofile  65536
*               hard    nofile  65536
hbase               soft    nproc   65536
habse               hard    nproc   65536
hadoop  -       nofile  32768
hadoop  -       nproc   32000


#Swappiness設定
vi /etc/sysctl.conf
#在本配置中加上如下項：
vm.swappiness=0
fs.file-max = 65536
#在配置進行如下修改:/boot/grub/grub.conf
#在“module /vmlinuz-2.6.32-279.el6.x86_64 ro root=UUID=780ce319-0a35-44c6-be6d-4593c261537c intel_iommu=on rd_NO_LUKS  KE
YBOARDTYPE=pc KEYTABLE=us rd_NO_MD crashkernel=128M LANG=zh_CN.UTF-8 rd_NO_LVM rd_NO_DM rhgb quiet”這一行最後加上“elevator=deadline”

修改完之後是：
module /vmlinuz-2.6.32-279.el6.x86_64 ro root=UUID=780ce319-0a35-44c6-be6d-4593c261537c intel_iommu=on rd_NO_LUKS  KE
YBOARDTYPE=pc KEYTABLE=us rd_NO_MD crashkernel=128M LANG=zh_CN.UTF-8 rd_NO_LVM rd_NO_DM rhgb quiet elevator=deadline

然後重啟系統。

1.6 建立chbHadoop使用者及組

chbHadoop使用者用於安裝hadoop叢集相關軟體

groupadd chbHadoop
useradd -d /home/chbHadoop/ -g chbHadoop -s /bin/bash chbHadoop
passwd chbHadoop

123@hadoop

1.7 配置ssh證書認證

由於HDP安裝需要openssl-1.0.1e-16.el6.x86_64 or later ,而預設為：

[[email protected] yum.repos.d]# rpm -qa |grep openssl
openssl-1.0.1e-15.el6.x86_64
[[email protected] yum.repos.d]# 

所以需要更新openssl，

刪除舊的：
rpm -qa |grep openssl |xargs -i yum -y remove {}
#做好yum源
#更新openssl
yum upgrade openssl
#更新之後：

由於red hat6.5yum源， 需要註冊， 我臨時做了一個163的yum源，用於更新openssl, 下面為原始檔：

# CentOS-Base.repo
#
# The mirror system uses the connecting IP address of the client and the
# update status of each mirror to pick mirrors that are updated to and
# geographically close to the client.  You should use this for CentOS updates
# unless you are manually picking other mirrors.
#
# If the mirrorlist= does not work for you, as a fall back you can try the 
# remarked out baseurl= line instead.
#
#
[base]
name=CentOS-6 - Base - 163.com
baseurl=http://mirrors.163.com/centos/6/os/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=os
gpgcheck=1
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-6

#released updates 
[updates]
name=CentOS-6 - Updates - 163.com
baseurl=http://mirrors.163.com/centos/6/updates/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=updates
gpgcheck=1
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-6

#additional packages that may be useful
[extras]
name=CentOS-6 - Extras - 163.com
baseurl=http://mirrors.163.com/centos/6/extras/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=extras
gpgcheck=1
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-6

#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-6 - Plus - 163.com
baseurl=http://mirrors.163.com/centos/6/centosplus/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=centosplus
gpgcheck=1
enabled=0
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-6

#contrib - packages by Centos Users
[contrib]
name=CentOS-6 - Contrib - 163.com
baseurl=http://mirrors.163.com/centos/6/contrib/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=contrib
gpgcheck=1
enabled=0
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-6

開始配置ssh 認證（只在master執行）：
以uarhadoop在master上執行
至此，第一章 前期準備工作完成。

==========================================