一、概述

繼本系列前兩篇文章講到的離線安裝YUM源搭建及規劃與環境準備，本文開始講述CDH叢集的搭建步驟及注意要點。本文基於CentOS7進行部署，Cloudera Manager版本選擇5.8.1，CDH版本5.8.0。

二、硬體檢查與系統配置

1.硬體檢查

1）檢查記憶體

free -g

2）檢查所有磁碟掛載。將noatime引數寫入/etc/fstab，並remount所有資料盤。

vim /etc/fstab

for i in 1 2 3 4 5;do mount -o remount /opt$i
mount

3）檢查磁碟讀寫

可以用dd或者hdparm命令進行測試，具體步驟可以參考網上的一些做法。

4）檢測網絡卡設定

ethtool [interface]

5）檢測路由

route -n

若路由缺失，使用以下命令新增路由並新增到/etc/rc.local以使重啟生效

route add -net [網段] netmask [掩碼] gw [閘道器] dev [網口]

6）檢查系統版本

檢查系統版本是否為CDH推薦的版本，版本不相容可能會產生穩定性問題

cat /etc/issue
uname -a

2.系統配置

1）配置hostname與/etc/hosts（所有節點）

若在沒有dns服務的內部網路，配置hosts就很有必要了，叢集間所有節點均需配置以相互通訊。

設定hostname

命令列執行：

hostname [name]

設定HOSTNAME以使重啟生效

vim /etc/sysconfig/network 

設定/etc/hosts

將叢集所有節點的資訊新增到該檔案中

vim /etc/hosts

2）所有節點安裝SSH（所有節點）

可以選擇CM server到agent通過使用者名稱密碼登入或者是公鑰的方式。若使用使用者名稱的方式，需保證所有伺服器root使用者名稱和密碼一致。

3）安裝Oracle JDK（所有節點）

CentOS自帶Openjdk，不過執行CDH5需要使用Oracle的jdk。至於安裝，可通過web安裝介面指定使用CM Server來進行安裝（安裝yum repo中的配置的Java版本）。

4）關閉防火牆和SELinux（所有節點）

清除iptables

iptables -L

iptables -F

關閉SELinux

/etc/selinux/config 的SELINUX=disabled

5）設定swappiness（所有節點）

命令列執行：

sysctl -w vm.swappiness=0

/etc/sysctl.conf新增以下內容：

vm.swappiness = 0

6）設定ulimit（所有節點）

命令列執行：

ulimit -n 65535

/etc/security/limits.conf新增以下內容：

soft nofile 65535
hard nofile 65535

7）設定ntp服務（所有節點）

使用ntpdate命令與ntp伺服器對時

date
ntpdate [ntpserver]

/etc/ntp.conf新增以下內容：

server [ntpserver]

啟動ntpd

systemctl restart ntpd

檢視是否同步成功

ntpstat

8）設定DNS（所有節點）

若叢集域名解析僅依賴/etc/hosts檔案，建議註釋掉/etc/resolv.conf，以避免不良影響。

9）關閉THP

CDH 5 所支援的大多數 Linux 平臺包含名為透明大頁面壓縮的功能，該功能與 Hadoop 工作負載互動較差，可能會嚴重影響效能，因此建議關閉。命令列執行以下命令，並寫到/etc/rc.local檔案中。

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

三、資料庫安裝與配置

CM支援多種型別資料庫作為配置及監控資料的儲存方式，這裡以mysql為例。CM資料庫、Hue/Oozie配置資料庫、Hive Metastore元資料庫等最好能夠根據實際應用及負載分開部署，並且部署高可用方案（主從或主主互備，後續會有專題講解）。

1.安裝MySql

表配置為Innodb引擎，否則CM啟動可能會遇到問題。

yum install mysql-server
service mysqld start

2.配置CM Server資料庫

用於存放CM的配置與監控資料。

mysqladmin -u root password 'xxxx'
mysql -uroot -p 進入mysql命令列，建立以下資料庫：
create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'xxxx';
create database smon DEFAULT CHARACTER SET utf8;
grant all on smon.* TO 'smon'@'%' IDENTIFIED BY 'xxxx';
create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'xxxx';
create database hmon DEFAULT CHARACTER SET utf8;
grant all on hmon.* TO 'hmon'@'%' IDENTIFIED BY 'xxxx';
create database nav DEFAULT CHARACTER SET utf8;
grant all on nav.* TO 'nav'@'%' IDENTIFIED BY 'xxxx';
flush privileges;

3.配置Hive Metastore資料庫

用於存放Hive的元資料資訊。

create database metastore DEFAULT CHARACTER SET utf8;
grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'xxxx';
flush privileges;

注意，安裝Hive的時候可能會報錯，由於使用了MySql作為Hive的元資料儲存，因此需要安裝MySql的驅動：

yum install mysql-connector-java

4.配置Hue/Oozie資料庫

用於存放Hue/Oozie配置資訊。

create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'xxxx';
create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'xxxx';
flush privileges;

四、CM Server/Agent及CDH相關套件安裝

1.下載並執行cloudera-manager-installer

1）下載安裝指令碼

根據所需版本進行下載，本文使用https://www.cloudera.com/downloads/manager/5-8-1.html

2）執行安裝指令碼

該執行程式會指引安裝CM Server，前提是YUM源提前要配置好。在需要安裝CM Server的linux伺服器上，使用root使用者執行以下命令。

chmod u+x cloudera-manager-installer.bin
./cloudera-manager-installer.bin --skip_repo_package=1

根據提示，點選下一步，最後完成安裝後會提示CM的web登陸url及初始使用者名稱密碼，預設是adimin、admin。安裝過程中可能會遇到一些異常，根據提示的日誌檔案資訊解決即可。

3）使用瀏覽器登陸CM Web頁面進行叢集安裝

登陸CM介面後，根據安裝嚮導執行初始化安裝和配置。

（1）選擇要安裝的 Cloudera Manager 版本

選擇免費版、試用版or商業版。

（2）通過主機名和 IP 地址範圍查詢您指定的群集主機

指定需要通過CM管理的伺服器範圍。

（3）使用 SSH 連線至每臺主機以安裝 Cloudera Manager Agent 和其他元件

可以提前將CM Server的公鑰放置與其他伺服器上，或者輸入統一的使用者名稱密碼程序操作。

（4）在群集主機上安裝 Oracle JDK

（5）安裝 CDH 和託管服務軟體包或 parcel

“選擇方法”選項，選擇“使用Parcel（建議）”，並點選右邊按鈕的“更多選項”，設定“遠端Parcel儲存庫URL"為“http://[my-yum-server]/cloudera-parcel/”，若沒有指定本地YUM源，會從網路進行下載，速度就會慢很多；
“選擇CDH的版本”，如果之前已經配好了YUM源，這裡會顯示出相應的CDH parcel安裝包，選擇即可。
點選下一步就會進行parcel包的分發與安裝。這一步主要會進行CM Agent的安裝以及將parcel包分發到各個伺服器。

（6）自動配置 CDH 和託管服務並啟動服務

這一步，主要根據自己的實際需求啟動相關服務，如HDFS/YARN/HBASE/HIVE/ZOOKEEPER等，可以選擇核心套件，或者自定義，不過，一般以上提到的服務都是生產中常用到的，可根據實際調整。

1. “叢集設定”的“自定義角色配置”頁面，選擇需要在伺服器上分配對應的角色例項。生產環境中，最好能夠做到資料節點（datanode/nodemanager等）與管理節點（namenode/resourcemanager/hivemetastore/zookeeper等）的分離，由於資料節點經常會執行繁重的任務，可能會影響管理節點的穩定高效執行。
2. “叢集設定”的“資料庫設定”頁面，將之前在MySql建的對應庫名、使用者名稱、密碼填入之後，點選連線測試，沒有問題則可進入下一步。
3. 一路點選下一步即會對叢集進行初始化，如無意外，可順利啟動叢集。
4. 測試叢集執行任務是否正常：hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

（7）叢集啟動後的優化

1. HDFS 啟用NameNode HA。點選“HDFS”服務->“操作”->“啟用High Availability”，選擇兩個NN需要分佈在哪兩個伺服器即可。
2. YARN 啟用HA。點選“YARN”服務->“操作”->“啟用High Availability”，選擇兩個RM需要分佈在哪兩個伺服器即可。
3. HBase 啟用HA。主要是HMaster在多個伺服器上啟動例項即可。
4. Hive啟用HA。Metastore及Hiveserver均需啟用多個例項以提高可用性。
5. 根據實際情況需要，啟用kerberos認證，提高安全性，後續進行專題討論。
6. 各個服務根據實際使用情況的配置優化，後續進行專題討論。
   至此，一個可用的Hadoop機器已經搭建起來了。可通過CM頁面檢視叢集的執行情況，並可通過介面直接操作叢集服務。

歡迎關注我的微信公眾號