本文所涉及到的所有安裝檔案
連結: https://pan.baidu.com/s/1i5pBbdr 密碼: bt8e
1.帳號密碼
切換到root使用者，建立hadoop使用者，密碼設定為hadoop123，忽視密碼簡單提醒

>> useradd hadoop
>> usermod -g root hadoop
>> passwd hadoop

兩次輸入hadoop123即可
設定sudo的許可權

>> chmod u+w /etc/sudoers
>> vim /etc/sudoers 在root ALL=(ALL)       ALL
 
在起下面新增hadoop ALL=(ALL)       ALL
>> chmod u-w /etc/sudoers

2.伺服器時間配置
切換到root使用者，伺服器時間必須一致，可以按如下配置到同一時區

>> rm -f /etc/localtime
>> ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3.網路配置
切換到root使用者，配置hostname，要求必須符合域名規範類似於..com格式的，所有節點均需按如下要求設定

>> hostname ha01.*.com
 

>> hostname ha02.*.com

配置hosts檔案

>> vi /etc/hosts

寫入如下內容，IP對應自己的IP，hostname可自己編寫

    # Hadoop cluster test
    10.1.0.4 ha01.*.com ha01
    10.1.0.5 ha02.*.com ha02

4.ssh無金鑰訪問
切換到hadoop使用者

>> su hadoop
>> ssh-keygen -t rsa -P ''
一路回車到結束，私鑰生成成功 ，-P ''表示密碼為空，然後匯入公鑰
>> cat .ssh/id_rsa.pub >> .ssh/authorized_keys
>> ssh localhost 如果能通表示配置成功，如果不成功需要修改下許可權
>> chmod 600
 
 .ssh/authorized_keys
依次配置各臺機器，然後將各伺服器的id_rsa.pub均複製到主節點上
scp .ssh/id_rsa.pub hadoop@ha01:/home/hadoop/id_rsa_02.pub
在主節點上將公鑰寫到認證keys
>> cat id_rsa_02.pub >> .ssh/authorized_keys
將主節點上認證keys複製到子節點
>> scp .ssh/authorized_keys hadoop@ha02:/home/hadoop/.ssh/
在一節點上通過ssh訪問各子節點，檢視.ssh目錄下有known_hosts，這裡為信任目錄，檢視是否所有的節點都存在記錄將此檔案複製      
到其他節點
>> scp known_hosts hadoop@ha02:/home/hadoop/.ssh/
在各節點上自由ssh可以看到可以互相訪問

5.安裝檔案上傳
將所有安裝所有的檔案上傳到主節點伺服器
6.檢查jdk版本
Hadoop-CDH5.11.0支援最好為jdk1.8以上目前最新版本為jdk1.8.131，不支援openjdk
所有節點檢查命令：

 >> java -version
>> javac -version
檢查結果，必須一致
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
如果不一致安裝oracle jdk，切換到root使用者
下載jdk-8u131-linux-x64.tar.gz安裝包
>> tar -zxvf jdk-8u131-linux-x64.tar.gz
>> mv jdk1.8.0_131/ /usr/java/jdk1.8.0_131/
然後在/etc/profile中配置JAVA_HOME,source使用生效
>> vi /etc/profile
# JAVA_HOME setup
JAVA_HOME=/usr/java/jdk1.8.0_131
然後在vi ~/.bash_profile中
>> vi ~/.bash_profile
#PATH=$PATH:$HOME/bin
PATH=$JAVA_HOME/bin:$PATH
使PATH變數修改，並source使其生效
徹底刪除openjdk，此步非常重要，否則會導致cm在檢查頁面出現警告，見附圖2
>> rpm -qa | grep java
>> rpm -e --nodeps java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64
>> rpm -e --nodeps java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64
>> rpm -e --nodeps tzdata-java-2017b-1.el6.noarch
複製jdbc connector driver到/usr/share/java/目錄下，在後面cm安裝各元件時會到這個目錄下查詢jdbc的連線包
>> unzip mysql-connector-java-5.1.42.zip
>> cd mysql-connector-java-5.1.42
>> cp mysql-connector-java-5.1.42-bin.jar /usr/share/java/

>> rpm -ivh mysql57-community-release-el6-11.noarch.rpm
>> yum update | grep mysql
>> yum install mysql-community-server一路輸入y直到下載安裝完成
>> chkconfig mysqld on 設定開機啟動
>> service mysqld start
>> grep 'temporary password' /var/log/mysqld.log 查詢初始密碼
設定初始密碼：
>> mysql -u root -p
mysql> alter user 'root'@'localhost' IDENTIFIED by '[email protected]';
mysql> flush privileges;
mysql> quit;

如果報錯：
[ERROR] –initialize specified but the data directory has files in it. Aborting.
檢視 more /etc/my.cnf 下datadir的位置並將裡面的檔案清空，包括mysql-files下的檔案
修改mysql的data目錄及log目錄

>> service mysqld stop
在需要移動的目錄下建立檔案
>> cd /data
>> mkdir mysql
>> cd mysql
>> mkdir data
>> mkdir log
>> chow -R mysql:mysql /data/mysql
>> mv /var/lib/mysql /data/mysql/data
>> mv /var/log/mysqld.log /data/mysql/log/mysqld.log
>> ln -s /data/mysql/data /var/lib/mysql
>> ln -s /data/mysql/log/mysqld.log /var/log/mysqld.log
>> chown -R mysql:mysql /var/lib/mysql
>> chown -R mysql:mysql /var/log/mysqld.log
>> service mysqld start

如果報錯可以先把 /data/mysql/data目錄下的檔案全部刪除以讓資料庫重新初始化
8.安裝cm
切換到root使用者在data目錄下（選取磁碟空間較大的目錄下建立hadoop目錄用於儲存cm的parcels）,並且將hadoop目錄的owner改為
hadoop使用者

 >> chown hadoop hadoop/

主節點安裝cm

>> tar -zxvf cloudera-manager-el6-cm5.11.0_x86_64.tar.gz 解壓安裝包
複製cm-5.11.0到/opt目錄下
>> sudo mv cm-5.11.0/ /opt/
複製jdbc connector jar到/opt/cm-5.11.0/share/cmf/lib/目錄下
>> cp /usr/share/java/mysql-connector-java-5.1.42-bin.jar /opt/cm-5.11.0/share/cmf/lib/
初始化scm資料庫，切換到root使用者最好
>> sh /opt/cm-5.11.0/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p scm scm
Enter database password: 這個為root使用者的密碼 [email protected]
Enter SCM password:    這個為新增的scm使用者的密碼 [email protected]
這裡都設定為:[email protected]

提示如下即為成功

All done, your SCM database is configured correctly!

可能會出現以下兩種錯誤：
如果報錯：Caused by: java.net.ConnectException: Connection refused (Connection refused)

則是在第7步，設定完帳號密碼之後未重啟mysql
如果報錯：java.sql.SQLException: Your password does not satisfy the current policy requirements

是由於密碼複雜度的原因，可以通過修改密碼複雜度等級來設定
>> mysql -uroot -p 登入資料庫
mysql> select @@validate_password_policy;

mysql> set global validate_password_policy=0;
配置cm agent
>> cd /opt/cm-5.11.0/etc/cloudera-scm-agent
>> vim config.ini
修改如下配置：
CM Server的hostname: server_host=ha01.nicigo.com
log file的位置:log_file=/data/hadoop/logs/cloudera-scm-agent/cloudera-scm-agent.log
parcel_dir的位置:parcel_dir=/data/hadoop/cloudera/parcels
jdbc依賴包的位置:cloudera_mysql_connector_jar=/usr/share/java/mysql-connector-java-5.1.42-bin.jar
複製cm-5.11.0包到所有節點，需要切換root使用者
>> scp -r cm-5.11.0/ [email protected]:/opt/    密碼

在ha02上將cm-5.11.0的owner設定為hadoop
9.為cm各元件建立資料庫
所有節點建立cloudera-scm使用者

 >> sudo useradd --system --home=/opt/cm-5.11.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
    #為hive建庫hive
    create database hive DEFAULT CHARACTER SET utf8;
    grant all privileges on *.* TO 'hive'@'%' IDENTIFIED BY 'mysqlroot@CM';
    #Reports  monitor
    create database report DEFAULT CHARACTER SET utf8;
    grant all privileges on *.* TO 'report'@'%' IDENTIFIED BY 'mysqlroot@CM';
    #為oozie建庫oozie
    create database oozie DEFAULT CHARACTER SET utf8;
    grant all privileges on *.* TO 'oozie'@'%' IDENTIFIED BY 'mysqlroot@CM';
    #為hue建庫hue
    create database hue DEFAULT CHARACTER SET utf8;
    grant all privileges on *.* TO 'hue'@'%' IDENTIFIED BY 'mysqlroot@CM';

10.準備cm的parcel
切換到hadoop使用者到軟體列表下
/opt/cloudera/parcel-repo 這個路徑的地址必須放在/opt/cloudera/parcel-repo 否則在安裝介面找不到這些包

 >> cp CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel /opt/cloudera/parcel-repo
    >> cp CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1 /opt/cloudera/parcel-repo
    >> cp manifest.json /opt/cloudera/parcel-repo
    >> mv CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1 CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha

11.啟動cm
日誌位置：/opt/cm-5.11.0/log/cloudera-scm-server

>> cd /opt/cm-5.11.0/etc/init.d
啟動cm服務端，只啟動主節點
>> sudo ./cloudera-scm-server start
初次進行此操作較慢，一般1-2分鐘，顯示

即為啟動成功
啟動cm客戶端，需要在各節點上均啟動

>> sudo ./cloudera-scm-agent start

顯示如下即為啟動成功當前節點
如需停止或者重啟換成stop restart即可
在瀏覽器上使用http://10.1.0.4:7180/cmf/login，即可訪問 cm的管理介面
12.安裝問題解決

第一個警告：
Cloudera 建議將 /proc/sys/vm/swappiness 設定為 10。當前設定為 60。使用 sysctl 命令在執行時更改該設定並編輯 /etc/sysctl.conf 以
在重啟後儲存該設定。 切換到root使用者

>> echo 10 > /proc/sys/vm/swappiness
>> vim   /etc/sysctl.conf 增加一行 vm.swappiness=10
    第二個警告，提示執行命令：
>> echo never > /sys/kernel/mm/transparent_hugepage/defrag
>> echo never > /sys/kernel/mm/transparent_hugepage/enabled

執行完畢，重啟後，警告依然，暫時不處理

13.安裝元件
在元件安裝介面需要把各日誌及metadata的檔案路徑改到/data/大儲存路徑下
對於裡面的出現警告和報錯根據實際情況進行配置的修改及節點的調整