（趙強老師原創）搭建CDH實驗環境，三個節點的安裝配置
-------------------------------------------------------
清華大學軟件工程專業畢業。現就職於Oracle（中國）有限公司高級技術顧問，在Oracle公司服務已超過10年。業界知名的Oracle數據庫專家和大數據專家，精通Oracle數據庫、大數據、Weblogic中間件和Java技術。同時，受聘於多家知名IT培訓機構，線下培訓的學員已超過萬人。
趙強老師在線視頻課程主頁
http://edu.51cto.com/lecturer/2788082.html
------------------------------------------------------
（一）實驗環境
l 實驗介質
n CentOS-7-x86_64-Everything-1708.iso
n jdk-8u161-linux-x64.rpm
n cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
n CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
n CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
n manifest.json
l 準備三臺CentOS虛擬機，三個節點：一個Cloudera Manager節點、兩個Agent節點
安裝如下：
n CDH71：Server GUI、
n CDH72、CDH73：Server GUI、Development Tools
（二）安裝配置CentOS（每臺機器）
註意把下面的兩個選項選上
l Server With GUI
l Development Tools
l MariaDB Server（就是MySQL數據庫）：註意只在cdh71上安裝
l 關閉防火墻
systemctl stop firewalld.service
systemctl disable firewalld.service
l 配置主機名：編輯/etc/hosts文件
l 配置免密碼登錄
l 配置ntp服務
? 創建目錄：mkdir /root/cdroom/
? 掛載光盤：mount /dev/cdrom /root/cdroom/
? 刪除原來的所有repo文件
? 創建yum的源文件： vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
? 開啟NTP服務
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
l yum -y install psmisc ---> 安裝pstree命令
（三）安裝JDK（每臺機器）
一定註意，這一步跟之前不一樣！！！
l 卸載系統原有的Java環境
第一步：使用下面的命令查看當前所有的Java環境的安裝包
rpm -qa | grep java
第二步：使用下面的命令刪除所有的Java安裝包
rpm -e --nodeps 包名
l 安裝新的JDK環境
? 將jdk-8u161-linux-x64.rpm上傳到/opt目錄
? 安裝JDK：rpm -ivh jdk-8u161-linux-x64.rpm
? 執行下面的命令，設置環境變量：
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
l 驗證JDK環境
（四）配置MariaDB（在cdh71上）
l 啟動MariaDB
systemctl start mariadb
systemctl enable mariadb （開機自啟動）
l 配置MariaDB
mysql_secure_installation
#首先是設置密碼，會提示先輸入密碼
Enter current password for root (enter for none):<–初次運行直接回車
#設置密碼
Set root password? [Y/n] <–是否設置root用戶密碼，輸入y並回車或直接回車
New password: <– 設置root用戶的密碼
Re-enter new password: <– 再輸入一次你設置的密碼
#其他配置
Remove anonymous users? [Y/n] <– 是否刪除匿名用戶，回車
Disallow root login remotely? [Y/n] <–是否禁止root遠程登錄,回車,
Remove test database and access to it? [Y/n] <– 是否刪除test數據庫，回車
Reload privilege tables now? [Y/n] <– 是否重新加載權限表，回車
l 初始化MariaDB
登錄數據庫：mysql -uroot -pWelcome_1
create database hive;
create database amon; ---> 這個是CDH的activity monitor
create database oozie;
create database hue;
l 安裝數據庫驅動
yum install mysql-connector-java
（五）安裝配置Clouder Manager（在cdh71上）
l 將cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz上傳至/opt目錄，並解壓
tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
l 將mysql的驅動放到/opt/cm-5.12.1/share/cmf/lib/中
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.1/share/cmf/lib/
l 初始化Cloudera Manager的數據庫元信息
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pWelcome_1 --scm-host localhost scm scm scm
l 創建cloudera-scm用戶
useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
l 將以下文件上傳至/opt/cloudera/parcel-repo/目錄
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
manifest.json
l 重命名文件CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
改名為：CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha （註意：少了一個1）
l 修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名。
（六）配置Cloudera Agent（cdh72和cdh73）
l 從主節點cdh71上將Cloudera Manager Agent復制到agent節點（cdh72和cdh73）上
scp -r /opt/cm-5.12.1 root@cdh72:/opt/
scp -r /opt/cm-5.12.1 root@cdh73:/opt/
l 在agent節點（cdh72和cdh73）上創建cloudera-scm用戶
useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
（七）部署CDH5
l 在cdh71啟動服務Cloudera Manager Server
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
l 在cdh72和cdh73上啟動的agent
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
l 訪問cdh71上的Cloudera Manager：
端口：7180（http://192.168.247.71:7180/cmf/login）
用戶名密碼：admin/admin
l 接受用戶條款
l 選擇60天試用版
l 點擊“繼續”
l 為CDH群集安裝指定主機（選擇cdh72和cdh73）
l 選擇存儲庫（註意：要刪除默認的遠程庫。如果之前沒有做這一步，會有錯誤。需要重新安裝）
l 將存儲庫部署到主機
l 檢查主機正確性
在cdh72和cdh73上，執行下面的語句，並“重新運行”
echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
l 選擇您要在群集上安裝的 CDH 5 服務。（以HDFS為例）
步驟省略......（因為這一步很簡單）
註意：需要在cdh71上創建report數據庫，如下：
create database report;
create user 'reportmanager'@'%' identified by 'Welcome_1';
grant all on report.* TO 'reportmanager'@'%';
grant all on report.* TO 'reportmanager'@'localhost' identified by 'Welcome_1';
l 部署成功
Cloudera Manager首頁
l 檢查每臺機器上的Java後臺進程
（趙強老師原創）搭建CDH實驗環境，三個節點的安裝配置