這裡已經有很多關於CDH的文章，此篇雖然不是把所有的問題都描述了。但是整體的過程還算描述的比較清楚。

問題導讀：
1.安裝需要做哪些準備？
2.如何安裝CM？
3.如何通過CM安裝CDH？
4.CM及CDH安裝的過程都包含什麼？



相信通過這篇文章大家都對Cloudera Manager及CDH安裝有一個整體的認識

目 錄 1           準備工作...........................................................................................................................................3
1.1       說明...............................................................................................................................................3
1.2       叢集網路環境介紹..........................................................................................................................3
2           環境搭建...........................................................................................................................................5
2.1       設定IP...........................................................................................................................................5
2.2       設定hosts......................................................................................................................................5
2.3       關閉防火牆....................................................................................................................................6
2.4       關閉SElinux....................................................................................................................................8
2.5       設定機器名....................................................................................................................................8
3           ClouderaManager安裝................................................................................................................... 11
3.1       下載Cloudera Manager安裝檔案................................................................................................... 11
3.2       下載Cloudera Manager所需的rpm包............................................................................................ 11
3.3       安裝rpm檔案............................................................................................................................... 11
3.4       安裝CM....................................................................................................................................... 11
3.5       登入CM....................................................................................................................................... 12
4           ClouderaManager配置及本地源配置.............................................................................................. 13
4.1       配置config.ini檔案........................................................................................................................ 13
4.2       配置本地源.................................................................................................................................. 14
5           Hadoop及其元件安裝......................................................................................................................17
5.1       選擇Cloudera版本........................................................................................................................ 17
5.2       選中受管理的主機........................................................................................................................ 17
5.3       選擇安裝方式（Cloudera推薦使用Parcel）................................................................................... 18
5.4       把Parcel分配到主機..................................................................................................................... 18
5.5       選擇服務...................................................................................................................................... 19
5.6       測試資料庫連線........................................................................................................................... 20
5.7       等待所有服務啟動........................................................................................................................ 20

6           向叢集增加節點............................................................................................................................... 22
6.1       新增主機...................................................................................................................................... 22
6.2       輸入IP或主機名........................................................................................................................... 23
6.3       提供SSH登入憑據........................................................................................................................ 24
6.4       安裝............................................................................................................................................. 24




使用Cloudera Manager安裝Hadoop 執行環境軟硬體環境l  主機作業系統：Windows 64 bit，雙核4執行緒，主頻2.2G，8G記憶體
l  虛擬軟體：VMware®Workstation 9.0.0 build-812388
l  虛擬機器作業系統：CentOs 64bit，單核，2G記憶體
l  JDK：1.7.0_45 64 bit
l  Hadoop：2.2.0



叢集網路環境叢集包含三個節點：1個namenode，1個datanode，節點之間區域網連線，可以相互ping通。節點IP地址和主機名分佈如下：
l  192.168.188.141  hadoo1 (namenode))
l  192.168.188.139  hadoo2 (datanode01)
l  192.168.188.140  hadoo3 (datanode03)
所有節點均是CentOS系統，防火牆iptables均禁用

環境搭建

本叢集分為三個節點，先安裝節點hadoop1（192.168.188.141），完成2.1~2.6步驟後，在步驟2.7中複製虛擬機器並命名為hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。


設定IP1.    點選System-->Preferences-->Network Connections，如下圖所示：




2.    刪除原來的連線資訊，新建一個“”連線，設定該連線為手工方式，設定如下資訊：
      IP地址： 10.88.147.221       子網掩碼： 255.255.255.0       閘道器：     10.88.147.1       DNS：    10.*.*.* (使用DNS上網需要設定)


3.    在命令列中檢視設定的IP地址資訊，如果不能夠正確可以在執行2.5重啟機器後再次確認：





設定Host檔案1.    編輯/etc/hosts檔案，設定IP地址與機器名的對映，設定資訊如下：
l     10.88.147.141 hadoop1.localdomain
l    10.88.147.139 hadoop2.localdomain
l    10.88.147.140 hadoop2.localdomain






2.    使用如下命令對網路設定進行重啟
sudo /etc/init.d/network restart

3.    驗證設定是否成功



關閉防火牆
在Hadoop安裝過程中需要關閉防火牆和SElinux，否則會異常

1.    service iptables status 檢視防火牆狀態，如下所示表示iptables已經開啟




2.    使用如下命令關閉iptables，執行該命令後重啟機器生效
chkconfig iptables off

關閉SElinux1.    使用getenforce命令檢視是否關閉





2.    修改/etc/selinux/config 檔案
將SELINUX=enforcing改為SELINUX=disabled，執行該命令後重啟機器生效




設定機器名以root使用者登入，使用 vi/etc/sysconfig/network 開啟配置檔案，修改主機名稱為hadoop1




複製虛擬機器關閉機器，複製當前節點兩份，分別命名為：hadoop2和hadoop3


SSH無密碼驗證配置(這一步可省略)
3.    在三個節點中使用ssh-keygen -t rsa生成私鑰和公鑰；





4.    在三個節點中分別把公鑰命名為authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；





5.    把兩個從節點的公鑰使用scp authorized_keys_hadoop2 [email protected]:/home/jan/.ssh 命令傳送到hadoop1節點的/home/jan/.ssh資料夾中；







6.    把三個節點的公鑰資訊儲存到authorized_key檔案中

使用cat authorized_keys_hadoop1 >> authorized_keys命令





7.    把該檔案分發到其他兩個從節點上
使用scp authorized_keys [email protected]:/home/jan/.ssh把密碼檔案分發出去







8.    測試ssh免密碼登入是否生效





Cloudera Manager安裝
下載Cloudera Manager安裝檔案
Cloudera Manager的可以從如下網址獲得： 這裡選擇Cloudera Manager 最新版5.0.1
下載Cloudera Manager所需的rpm包
下載網址為：
安裝rpm檔案
l 將下載的rpm包放入資料夾rpm（資料夾名隨意）
l cd  ./rpm（進入rpm目錄）
l yum localinstall –-nogpgcheck  *.rpm(安裝rpm包)

3.4 安裝rpm檔案l 進入cloudera-manager-installer.bin的下載目錄
l chmod u+x cloudera-manager-installer.bin（給下載的bin檔案許可權）
l 執行 ./cloudera-manager-installer.bin（大約十分鐘左右）

3.5登入CM瀏覽器輸入localhost：7180初次登入 使用者名稱：admin 密碼：admin



Cloudera Manager檔案配置及本地源配置
配置config.ini檔案
修改主機名
修改前為：localhost   修改後為：localhost.localdomain






本地源配置 Parcel的可以從如下網址獲得，下載.parcel檔案和manifest.json檔案：

注意：Parcel檔案對應不同的系統版本

l  把以下載的.parcel檔案和manifest.json檔案拷貝到/opt/cloudera/parcel-repo/資料夾下
l  新建檔案命名為：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
l  開啟manifest.json檔案檢視CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel對應的編號，並拷貝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha檔案中

以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel對應的編號，這裡是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397
{            "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",            "components": [                 {                    "pkg_version": "0.7.0+cdh5.0.1+0",                    "pkg_release": "1.cdh5.0.1.p0.30",                    "name": "bigtop-tomcat",                    "version": "6.0.37-cdh5.0.1"                 },                 {                    "pkg_version": "0.9.0+cdh5.0.1+23",                     "pkg_release":"1.cdh5.0.1.p0.25",                    "name": "crunch",                    "version": "0.9.0-cdh5.0.1"                 },


              .........

                {                    "pkg_version": "0.9.0+cdh5.0.1+8",                    "pkg_release": "1.cdh5.0.1.p0.25",                    "name": "whirr",                    "version": "0.9.0-cdh5.0.1"                 },                 {                    "pkg_version": "3.4.5+cdh5.0.1+30",                     "pkg_release":"1.cdh5.0.1.p0.31",                    "name": "zookeeper",                    "version": "3.4.5-cdh5.0.1"                 }             ],            "replaces": "IMPALA, SOLR, SPARK",             "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"         }
l  現在本地源已配好，總之parcel-repo檔案中包含一下三個檔案：
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
Manifest.json

l  重啟系統


Hadoop及其元件安裝選擇Cloudera版本


選中受管理的主機




選擇安裝方式（Cloudera推薦使用Parcel）




把Parcel分配到主機









新增服務



測試資料庫連線



等待所有服務開啟等待所有服務開啟，時間可能會有點長









向叢集增加節點增加主機



輸入IP或主機名





提供SSH登入憑據



安裝







注：本資料所有省略介面，直接點選繼續即可