cdh叢集安裝

1、  配置主機 vim/etc/hosts   (hadoop1,hadoop2,hadoop3)代表在3臺機器執行操作

192.168.157.128hadoop1

192.168.157.129hadoop2

192.168.157.130 hadoop3

2、  關閉防火牆 (所有機器)

chkconfig iptables off

3、  ssh免密碼登入(hadoop1執行)

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys

4、  安裝mysql服務(hadoop1)

(1)    yum install mysql-server

(2)    service mysqld start

(3)    chkconfig mysqld on (設定開機啟動)

(4)    檢視服務是否啟動chkconfig --list | grep mysqld

5、  配置mysql(hadoop1)

a)        配置mysql密碼：mysqladmin -u root password 111111

b)        登入：mysql -u root –p 111111

c)        建立hive資料庫: create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

d)        授權：grant all privileges on *.* to 'root'@'hadoop1' identified by'111111' with grant option;

e)        flush privileges;

6、  配置NTP服務，保障所有機器時間同步(hadoop1,hadoop2,hadoop3)

a)        檢視ntp是否安裝: rpm -q ntp

b)        所有節點安裝: yum install ntp

c)        配置安裝啟動: chkconfig ntpd on

d)        檢視服務: chkconfig --list ntpd

e)        同步時間: ntpdate -u 202.112.10.36 (這裡可能是你公司的時間伺服器吧，測試就用這個)

7、  設定ntp配置(hadoop1)

a)        vim /etc/ntp.conf 配置內容為:

server 202.112.10.36 prefer   (參照這個伺服器)

b)        重啟：service ntpd start

c)        檢視狀態:ntpdstat

8、  配置 vim/etc/ntp.conf  內容為:  server n1 (hadoop2,hadoop3)

9、  與hadoop1同步時間: ntpdate-u hadoop1  (hadoop2,hadoop3)

10、重啟 service ntpdrestart   (hadoop2,hadoop3)

11、安裝Cloudera ManagerServer(hadoop1)

         b)解壓tar -zxvf/soft/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz

         c)將cloudera移動到/opt  mv cm-5.3.3/ /opt  mv cloudera /opt/

         d)修改許可權 chown -Rroot:root /opt/cm-5.3.3   chown -Rroot:root /opt/cloudera

12、為Cloudera Manager5 建立資料庫

         a)下載mysql官網的jdbc驅動(mysql-connector-java-5.1.33-bin)如果官網找不到，百度一下吧。

         b)將mysql-connector-java-5.1.33.jar放到/opt/cm-5.3.3/share/cmf/lib/目錄下cpmysql-connector-java-5.1.33-bin.jar /opt/cm-5.3.3/share/cmf/lib/hive/lib/

         c)在主節點初始化CM5資料庫/opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.shmysql cm -hlocalhost -uroot -p111111 --scm-host localhost scm scm scm

(格式是:scm_prepare_database.sh資料庫型別  資料庫 伺服器 使用者名稱 密碼  –scm-host  Cloudera_Manager_Server所在的機器)

         d)給所有節點新增cloudera-scm使用者：(命令如下)

useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server--no-create-home --shell=/bin/false --comment "Cloudera SCM User"cloudera-scm

13、Agent配置(hadoop1)

         a)修改配置vim /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini server_host為主節點的主機名 內容為:   server_host=hadoop1

14、準備Parcels用以安裝CDH5（配置原始檔）(hadoop1)

         a)下載路徑為:http://archive.cloudera.com/cdh5/parcels/5.3.3/

         b)將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中（若無parcel-repo目錄需要手動建立）

mv manifest.json  /opt/cloudera/parcel-repo/

mv CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1  /opt/cloudera/parcel-repo/

mv CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel  /opt/cloudera/parcel-repo/   

         c)重新命名: mvCDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1 CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha

15、同步agent到其他節點(hadoop1)

         a)scp -r /opt/cm-5.3.3 [email protected]:/opt/

         b)scp -r /opt/cm-5.3.3 [email protected]:/opt/

16、啟動相關指令碼

         a)在namenode啟動server和agent( 主節點也是要做到叢集中的, 所以主節點也要開啟Agent )   (hadoop1)

                   /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start

                   /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start

         b)在所有datanode啟動agent  (hadoop2,hadoop3)

                   /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start

17、登入介面 hadoop1:7180

18、選擇免費版本ClouderExpress版

19、後面一步一步點(不想說了,出錯看日誌)

20、截一個圖(代表成功吧)

注意：(1) Cloudera 建議將 /proc/sys/vm/swappiness 設定為 0。當前設定為 60。

使用 sysctl 命令在執行時更改該設定並編輯 /etc/sysctl.conf 以在重啟後儲存該設定。

您可以繼續進行安裝，但可能會遇到問題，Cloudera Manager 報告您的主機由於交換執行狀況不佳。

以下主機受到影響：

在會受到影響的主機上執行echo 0 > /proc/sys/vm/swappiness命令即可解決。(在每一臺機器執行)

本文寫於20160423凌晨2點(哈哈，哥不是傳說！！！！！！！！！！！！困了)