轉載：http://blog.csdn.net/eason_oracle/article/details/51818423

最近在搞cloudera manager的安裝，經歷了許多坎坷，總結一下：

另外也參考了一些其他人的帖子如：

http://blog.csdn.NET/a921122/article/details/51939692

http://www.aboutyun.com/forum.PHP?mod=viewthread&tid=9086&extra=page%3D1

http://www.aboutyun.com/forum.php?mod=viewthread&tid=10852&highlight=%C0%EB%CF%DF%B0%B2%D7%B0Cloudera%2BManager

大致的方法是可行的

系統環境

• 4臺虛擬機器，其中master節點4核心、8GB，其它節點4核、16GB。
• 網絡卡：1000M。
• 共有硬碟8.7TB。
• 網路環境內網。
• Centos7 x64（安裝系統時儘量把開發包安裝齊全，另master節點需要Mysql可以在安裝系統時勾選）。
  

準備工作解除安裝系統自帶OPEN-JDK（所有節點） 安裝好的Centos系統有時會自動安裝OpenJdk，用命令java -version檢視：

1. java version "1.6.0"
   
2. OpenJDK Runtime Environment (build 1.6.0-b09)
   
3. OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixed mode)

如有上述顯示，說明系統裡已經有OpenJdk，執行以下命令檢視系統中有哪些OpenJdk相關包：

1. rpm -qa | grep java

其中有如下包必須解除安裝，根據系統版本不同，各個包版本號會有所差異： java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64 java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64 執行以下命令，解除安裝：

1. rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
   
2. rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
   
3. rpm -e --nodeps java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64

安裝JDK（所有節點） 從官方網站上下載rpm包，本次使用版本1.7.0_55-b13（CDH5可能支援1.7之前的版本，具體情況未經測試），執行命令：

1. rpm -ivh jdk-7u55-linux-x64.rpm

由於是rpm包並不需要我們來配置環境變數，我們只需要配置一個全域性的JAVA_HOME變數即可，執行命令：

1. echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

執行命令，檢視Jdk是否安裝正確

1. java -version
   
2. javac -version

修改主機名 修改/etc/sysconfig/network檔案：

1. NETWORKING=yes
   
2. HOSTNAME=master.hadoop
   

其中HOSTNAME與主機名一致。主機名如果跟系統安裝時不一致請執行hostname命令讓其立即生效，否則會影響各節點互相訪問。修改/etc/hosts檔案，新增：

1. 188.188.2.170 master
   
2. 188.188.2.171 datanode1
   
3. 188.188.2.173 datanode2
   
4. 188.188.2.174 datanode3

執行命令：

1. service network restart

打通SSH（所有節點） 這裡master節點和其他datanode節點會略有區別。 首先說有節點均執行如下命令，遇到提示一路回車即可：

1. ssh-keygen -t rsa

然後在主節點執行以下命令：

1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scp檔案到所有datenode節點：

1. scp ~/.ssh/authorized_keys [email protected]:~/.ssh/

然後輸入密碼即可，以後再到其他機器就不需要密碼額。
關閉防火牆（所有節點） 防火牆會引起hadoop相關元件通訊的各種異常。 防火牆：

1. service firewalld stop (臨時關閉)
   
2. systemctl disable firewalld (重啟後生效)

SELINUX：

1. setenforce 0 (臨時生效)

修改/etc/selinux/config 下的 SELINUX=disabled （重啟後生效）。
安裝NTP服務（所有節點） 叢集中所有主機必須保持時間同步，如果時間相差較大會引起各種問題。 具體思路如下：

• master節點作為ntp伺服器與外界對時中心同步時間，隨後對所有datanode節點提供時間同步服務。
• 所有datanode節點以master節點為基礎同步時間。
  

所有節點安裝相關元件：ntp與ntpdate。按順序安裝即可，完成後，配置開機啟動：

1. chkconfig ntpd on

檢查是否設定成功：

1. chkconfig --list ntpd

其中2-5為on狀態就代表成功。
配置內網NTP伺服器（master節點） 在配置之前，先使用ntpdate手動同步一下時間，免得本機與對時中心時間差距太大，使得ntpd不能正常同步。這裡選用65.55.56.206作為對時中心。

1. ntpdate -u 65.55.56.206

ntp服務只有一個配置檔案，配置好了就OK。 這裡只給出有用的配置，不需要的配置都用#注掉，這裡就不在給出：

1. driftfile /var/lib/ntp/drift
   
2. restrict 127.0.0.1
   
3. restrict -6 ::1
   
4. restrict default nomodify notrap 
   
5. server 65.55.56.206 prefer
   
6. includefile /etc/ntp/crypto/pw
   
7. keys /etc/ntp/keys

配置檔案完成，儲存退出，啟動服務，執行如下命令：

1. service ntpd start
   
2. chkconfig ntpd on (設定開機啟動)

檢查是否成功，用ntpstart命令檢視同步狀態，出現以下狀態代表啟動成功：

1. synchronised to NTP server () at stratum 2
   
2. time correct to within 74 ms
   
3. polling server every 128 s

如果出現異常請等待幾分鐘，一般等待5-10分鐘才能同步。 配置ntp客戶端（所有datanode節點）

1. driftfile /var/lib/ntp/drift
   
2. restrict 127.0.0.1
   
3. restrict -6 ::1
   
4. restrict default kod nomodify notrap nopeer noquery
   
5. restrict -6 default kod nomodify notrap nopeer noquery
   
6. server 192.168.1.101
   
7. includefile /etc/ntp/crypto/pw
   
8. keys /etc/ntp/keys

ok儲存退出，請求伺服器前，請先使用ntpdate手動同步一下時間：

1. ntdate -u 188.188.2.170 (內網ntp伺服器)

這裡可能出現同步失敗的情況，請不要著急，一般是本地的ntp伺服器還沒有正常啟動，一般需要等待5-10分鐘才可以正常同步。啟動服務：

1. service ntpd start
   
2. chkconfig ntpd on

因為是連線內網，這次啟動等待的時間會比master節點快一些，但是也需要耐心等待一會兒。
Mysql配置（master節點） 只需要配置master節點的Mysql即可。
rpm -qa|grep mariadb    --找到是否有mariadb存在，要刪除，否則安裝mysql server會報conflict 衝突的問題
rpm -e --nodeps mariadb* --如果有mariadb包，就刪掉
yum install perl-Module-Install.noarch--一般虛擬機器中是沒有perl Module，需要yum 安裝
然後開始安裝mysql server
rpm -ivh MySQL-server-5.6.30-1.el7.x86_64.rpm

rpm -ivh MySQL-client-5.6.30-1.el7.x86_64.rpm
安裝後，如果 service mysql start 沒啟動成功，報error 2002找不到什麼*.pid,那就用mysqld_safe &命令啟動，然後就看到mysql啟動了。

 將mysql設定為開機啟動：

1. chkconfig mysqld on

本次安裝需要建立如下資料庫（不包括Cloudera Manager的資料庫，Cloudera Manager資料庫有相關指令碼建立，後面會有說明）

1. --hive資料庫
   
2. create database hive DEFAULT CHARSET utf8 
   
3. --叢集監控資料庫
   
4. create database amon DEFAULT CHARSET utf8 
   
5. --hue資料庫
   
6. create database hue DEFAULT CHARSET utf8
7. --oozie資料庫
8. create database oozie default charset utf8;

以上資料庫，可能會根據安裝元件的不同略有差別。 給使用者授權（這裡密碼設為hadoop）

1. grant all on *.* to [email protected]"%" Identified by "hadoop";

正式開工安裝Cloudera Manager 5（cm5） 下載地址http://archive-primary.cloudera.com/cm5/cm/5/，根據自己的系統選擇相應的版本，本次安裝選用的是cloudera-manager-centos7-cm5.7.0_x86_64.tar。下載完成後只上傳到master節點即可。然後解壓到/opt目錄下，不能解壓到其他地方，因為cdh5的源會預設在/opt/cloudera/parcel-repo尋找，怎麼製作cdh5的本地原始檔會在之後介紹。給所有節點新增cloudera-scm使用者：

1. useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

修改/opt/cm-5.0.0/etc/cloudera-scm-agent/config.ini 下面的server_host

1. server_host=master

為Cloudera Manager 5建立資料庫：

1. /opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -phadoop --scm-host localhost scm scm scm

         資料庫型別：mysql    資料庫：cm    伺服器：hlocalhost   使用者名稱：uroot   密碼：phadoop           localhsot：Cloudera_Manager_Server所在的伺服器ip
格式是:scm_prepare_database.sh 資料庫型別  資料庫 伺服器 使用者名稱 密碼  –scm-host  Cloudera_Manager_Server所在的機器，後面那三個不知道代表什麼，直接照抄官網的了。 因為我們用的是Mysql資料庫，所以我們需要下載Mysql的JDBC驅動，本次從官網上下載最新穩定版：mysql-connector-java-5.1.30.tar.gz，解壓之後找到mysql-connector-java-5.1.30-bin.jar放到/opt/cm-5.0.0/share/cmf/lib/目錄下。 在後面安裝其他元件的時候，它會從/usr/share/java目錄下找驅動，然後自動cp，所以為保險起見，建議把mysql的驅動jar包也拷貝到agent節點的/usr/share/java下面（最好把版本和“”bin“”去掉，如mysql-connector-java.jar），
開啟Cloudera Manager 5 Server端：

1. /opt/cm-5.7.0/etc/init.d/cloudera-scm-server start

注意server首次啟動不要立即關閉或重啟，因為首次啟動會自動建立相關表以及資料，如果因為特殊原因中途退出，請先刪除所有表以及資料之後再次啟動，否則將會出現啟動不成功的情況。 開啟Cloudera Manager 5 Agents端。 先scp /opt/cm-5.7.0到所有datanode節點上，然後在每臺機器上開啟Agents端：

1. scp -r  /opt/cm-5.7.0 [email protected]:/opt/cm-5.7.0

等待拷貝成功，在所有datanode節點上啟動：（注意必須以管理員許可權啟動）

1. sudo /opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start

/opt/cm-5.7.0/run/ 就這個下面 之前啟動server時裡面會有一個server的資料夾和server的pid檔案，需要手工再建一個agent資料夾，不然啟動agent 會失敗。

瀏覽器啟動Cloudera Manager 5 控制檯（預設埠號是7180），啟動成功就會看到登陸頁面。

安裝CDH5 先下載到本地http://archive-primary.cloudera.com/cdh5/parcels/5.7.0/，這裡需要下載兩樣東西，首先是與自己系統版本相對應的parcel包，然後是manifest.json檔案。下載完成後將這兩個檔案放到master節點的/opt/cloudera/parcel-repo下（目錄在安裝Cloudera Manager 5時已經生成），注意目錄一個字都不能錯，接下來開啟manifest.json檔案，裡面是json格式的配置，我們需要的就是與我們系統版本相對應的hash碼，因為我們用的是Centos6.5，所以找到如下位置：


在這個大括號的最下面找到“hash”所對應的值。



將“hash”的值複製下來，然後建立一個檔案，檔名與你的parel包名一致，並加上.sha字尾：


這樣你的目錄下將有這3個檔案，將“hash”的值複製到新建的sha檔案中，並儲存，好了，我們的本地源製作完成了。這樣基本大功告成了，再之後的操作就是控制檯按照步驟安裝即可。
開啟http://188.188.2.170:7180，登陸控制檯，預設賬戶和密碼都是admin，安裝時選擇免費版，之後由於cm5對中文的支援很強大，按照提示安裝即可，如果系統配置有什麼問題在安裝過程中會有提示，根據提示給系統安裝元件就可以了。
如果在安裝時選擇了安裝Hive，可能會遇到安裝失敗的問題，檢視一下日誌發現時安裝Hive時需要安裝JDBC驅動，所以同樣我們將Mysql的驅動包拷貝到/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hive/lib/目錄下，之後再繼續安裝就不會遇到問題了。
補充幾點：
如果直接新建個.sha的檔案，把manifest.json最後一行的hash值拷貝進去，直接驗證驗證失敗，這樣cm會直接從遠端下載parcel包，而不是使用本地下載好的parcel。
解決辦法直接把*.sh1檔案複製一份，再加入manifest.json的hash值，這樣才能hash驗證通過，使用本地下載好的parcel包。
注意，*.sh1檔案也要在下載parcel包時下載好。
mysql資料庫最好跟cm主節點在一個節點上，否則會出現無遠端許可權的問題。

CDH5的安裝配置 
Cloudera Manager Server和Agent都啟動以後，就可以進行CDH5的安裝配置了。 
這時可以通過瀏覽器訪問主節點的7180埠測試一下了（由於CM Server的啟動需要花點時間，這裡可能要等待一會才能訪問），預設的使用者名稱和密碼均為admin：

 
 

各個Agent節點正常啟動後，可以在當前管理的主機列表中看到對應的節點。選擇要安裝的節點，點繼續。

接下來，出現以下包名，說明本地Parcel包配置無誤，直接點繼續就可以了。

如果此處發現不到parcel包，就重啟所有節點的agent服務，和master的server服務。

點選，繼續，如果配置本地Parcel包無誤，那麼下圖中的已下載，應該是瞬間就完成了，然後就是耐心等待分配過程就行了，這個過程的速度就取決於節點之間的傳輸速度。

當前受管

假如在安裝的時候出現問題，如網路連線中斷，機器宕機，繼續安裝的時候可能會出現查詢不到機器，並且根據ip搜尋機器的時候，出現“當前受管”

的狀態為“是”，安裝失敗的機器不能再選擇了。

先停止所有服務。清除資料庫。

1> 刪除Agent節點的UUID 

      # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/*

2>  清空主節點CM資料庫

      進入主節點的MySQL資料庫，然後drop database cm;

3> 在主節點上重新初始化CM資料庫

     # /opt/cm-5.4.7/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

等待一下，連線訪問web:7180即可

所有節點部署完成

接下來是主機檢查，可能會遇到以下問題： 

Cloudera 建議將 /proc/sys/vm/swappiness 設定為 0。當前設定為 60。使用 sysctl 命令在執行時更改該設定並編輯 /etc/sysctl.conf 以在重啟後儲存該設定。您可以繼續進行安裝，但可能會遇到問題，Cloudera Manager 報告您的主機由於交換執行狀況不佳。以下主機受到影響： 
通過echo 10 > /proc/sys/vm/swappiness即可解決。（注意切換到root）

接下來是選擇安裝服務：

服務配置，一般情況下保持預設就可以了（Cloudera Manager會根據機器的配置自動進行配置，如果需要特殊調整，自行進行設定就可以了）：

接下來是資料庫的設定，檢查通過後就可以進行下一步的操作了：

此處可能需要新建oozie的資料庫

下面是叢集設定的審查頁面，全部保持預設配置即可：

終於到安裝各個服務的地方了，注意，這裡安裝Hive，或oozie的時候可能會報錯，因為我們使用了MySql作為hive的元資料儲存，hive預設沒有帶mysql的驅動，通過以下命令拷貝一個就行了：

cp /opt/cm-5.7.1/share/cmf/lib/mysql-connector-Java-*-bin.jar /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel/lib/hive/lib/

cp /opt/cm-5.7.1/share/cmf/lib/mysql-connector-java-*-bin.jar /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel/lib/oozie/lib/

cp /opt/cm-5.7.1/share/cmf/lib/mysql-connector-java-*-bin.jar /var/lib/oozie/

接下靜靜地等待即可。

安裝完成後，就可以進入叢集介面看一下叢集的當前狀況了。 
這裡可能會出現無法發出查詢：對 Service Monitor 的請求超時的錯誤提示，如果各個元件安裝沒有問題，一般是因為伺服器比較卡導致的，過一會重新整理一下頁面就好了,根據實際情況調整配置即可：

============================================================================================

如果想要新增navigator，就選用中間60天試用版新增叢集。首先要登入進http://master:7180，然後再頁面右上角方向選擇“新增Cloudera manager service”--->選擇navigator audit server 和navigator metadata server兩個服務,然後“繼續”-->還要配置這兩個服務的資料庫（nav和navms）配置好之後測試資料庫連線，再“繼續”就完成了navigator的配置了。

在“群集（CLUSTER）”下，會在“Cloudera Manager Service ”下面出現一個“Cloudera Navigator”的連結，點選後就可以跳到http://master:7187的navigator的頁面了，預設密碼是admin/admin

錯誤總結

1、pstree: command not found

錯誤展示

# /opt/cm-5.7.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.7.0/etc/init.d/cloudera-scm-server: line 109: pstree: command not found
Starting cloudera-scm-server:                              [FAILED]
# /opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start
/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent: line 108: pstree: command not found
Starting cloudera-scm-agent:                               [FAILED]

原因

因為系統是最小化安裝，預設沒有安裝

解決方法

# yum -y install psmisc

2、cloudera-scm-agent start 啟動失敗

錯誤展示

# /opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [FAILED]

查詢日誌

、

# cd /opt/cm-5.7.0/log/cloudera-scm-agent/
# ls
cloudera-scm-agent.out
# cat cloudera-scm-agent.out 
[22/Jun/2016 11:02:09 +0000] 3695 MainThread agent        INFO     SCM Agent Version: 5.7.0
Unable to create the pidfile.

原因

經過查詢後發現/opt/cm-5.7.0/run目錄下沒有cloudera-scm-agent資料夾

# cd /opt/cm-5.7.0/run/
# ls
cloudera-scm-server

解決方法

# mkdir /opt/cm-5.7.0/run/cloudera-scm-agent

3、install: invalid user ‘cloudera-scm’

錯誤展示

# /opt/cm-5.7.0/etc/init.d/cloudera-scm-server start
install: invalid user ‘cloudera-scm’

原因

沒有建立執行server的使用者

解決方法

#useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server  --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4、檢查主機正確性警告

警告

解決方法

# echo 0 > /proc/sys/vm/swappiness
# echo never > /sys/kernel/mm/transparent_hugepage/defrag
# echo "echo 0 > /proc/sys/vm/swappiness" >>/etc/rc.d/rc.local
# echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >>/etc/rc.d/rc.local

5、啟動Hive失敗

錯誤展示

原因

根據提示發現是沒有mysql-java連線的驅動jar包

解決方法

# ls
CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel       cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz  manifest.json
CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1     jdk-8u91-linux-x64.rpm        mysql-connector-java-6.0.2.jar
# cp mysql-connector-java-6.0.2.jar /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/hive/lib/

6、啟動NFS Gateway失敗

錯誤展示

原因

解決方法

# yum -y install rpcbind
# systemctl start rpcbind
# echo "systemctl start rpcbind" >> /etc/rc.d/rc.local 
# chmod +x /etc/rc.d/rc.local

7、啟動Oozie,impala失敗

錯誤展示

原因

沒有mysql-java連線jar包

解決方法

# ls
CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel       cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz  manifest.json
CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1     jdk-8u91-linux-x64.rpm        mysql-connector-java-6.0.2.jar
# cp mysql-connector-java-6.0.2.jar /usr/share/java/mysql-connector-java.jar

=======================================================================

在安裝cm 5.10.0的時候，也遇到一些，前面大致的配置流程差不多，

1）yum安裝

yum -y install redhat-lsb 
yum -y install openssl-devel
yum -y install python-psycopg2
yum -y install mod_ssl
yum -y install httpd
yum -y install MySQL-python
yum -y install cyrus-sasl-gssapi

2）

相關推薦