1. 程式人生 > >CM&CDH傻瓜安裝教程(完美)

CM&CDH傻瓜安裝教程(完美)

雖然我是菜鳥,但是這個安裝是自己電腦搭建的,按照步驟下去,一定不會報錯。--------有幫助就粉下吧!!!

下載地址

http://archive.cloudera.com/cm5/    CM

http://archive.cloudera.com/cdh5/parcels/5.10.0.41/    CDH

官網連結

https://www.cloudera.com/downloads.html

一.前期準備

1.準備centos7

2.jdk1.7    (不支援1.8,直接解壓配置環境變數即可)

3.MySQL5.5

(1)安裝mysql5.5,直接在master節點安裝

  (2)上傳zip,輸入 unzip 包名 ,進行解壓

  (3)輸入 yum -y remove mariadb-libs-1:5.5.44-2.el7.centos.x86_64 解決相容問題

  (4)輸入 rpm -ivh MySQL-server-5.5.54-1.el7.x86_64.rpmMySQL-client-5.5.54-1.el7.x86_64.rpm MySQL-devel-5.5.54-1.el7.x86_64.rpm  ,進行安裝

  (5)安裝成功後,輸入 service mysql start 啟動mysql

   (6)輸入chkconfig mysql on 設定為開機自啟動

   (7)輸入mysqladmin -uroot password admin  ,設定密碼為admin

   (8)輸入mysql -u root -p 進入mysql

   (9)輸入create database oozie DEFAULT CHARACTER SET utf8; 建庫

    輸入create database hive DEFAULT CHARACTER SET utf8; 建庫

    輸入create database manager DEFAULT CHARACTER SET utf8; 建庫

      輸入create database hbase DEFAULT CHARACTER SET utf8; 建庫

   (7)輸入GRANT ALL PRIVILEGES ON *.* TO 'root'@'master' IDENTIFIED BY 'admin' WITH GRANTOPTION; 遠端授權

   (8)輸入FLUSH PRIVILEGES; 重新整理修改

    輸入exit 退出

   (9)所有節點執行 useradd --system--home=/opt/cloudera-manager/cm-5.4.3/run/cloudera-scm-server --no-create-home

     --shell=/bin/false --comment "Cloudera SCM User"cloudera-scm  新增使用者

   (10)新建/usr/share/java 目錄,將mysql驅動包放入,並改名為 mysql-connector-java.jar

4.clouder manager 5.10.0

5.CDH5.10

二.安裝準備

1.配置主機名字(每天機器都要配)

vi /etc/hosts   --配置主機對映        我這裡配置的master    跟slave

vi /etc/hostname --編寫主機名字      IP 主機名(每天都要配置)

2.同步時間 (都要)

  我用的是:

sudo date -s "2017-08-05 19:49:00"

還可以用ntp 服務。

3.關閉防火牆   (都要)

 (1)檢視命令:service iptables status

 (2)關閉:chkconfig iptables off

4.配置ssh無密碼登入  (都要)

(1)輸入 ssh-keygen -t dsa -P '' -f~/.ssh/id_dsa 建立一個無密碼的公鑰,

 -t是型別的意思,dsa是生成的金鑰型別,-P是密碼,’’表示無密碼,-f後是密要

 生成後儲存的位置

(2)輸入 cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys 將公鑰id_dsa.pub

 新增進keys,這樣就可以實現無密登陸ssh

(3)ssh master    (驗證)

     sshslave      (驗證)

(4)我自己配了2臺,所有都要配置這個。

5.禁用selinux

(1)vi /etc/selinux/config   將SELINUX=enforcing改為SELINUX=disabled,修改完成後重啟機器生效。(2臺都要)

(2)用getenforce檢視   結果Disabled這個。

6.所有節點輸入 yum -y install chkconfigpython bind-utils psmisc libxslt zlib sqlite

 cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libsredhat-lsb      --下載依賴

三.CM安裝

(1)在master節點輸入 /opt/cloudera 新建目錄

   上傳tar包到新建的目錄並解壓    (master即為主節點)

(2)輸入 vi/opt/cloudera/cm-5.10.0/etc/cloudera-scm-agent/config.ini   修改配置檔案中的server.hosts為master,(主節點的主機名)

(3) 將 /opt/cloudera/ 用scp命令同步到所其他節點

     我這裡是  scp -r /opt/cloudera  [email protected]:/opt/

 (4) 在主節點輸入 mkdir /opt/cloudera/parcel-repo/ 新建資料夾,然後輸入chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/賦予許可權

 (5) 在從節點輸入 mkdir /opt/cloudera/parcels/ 新建資料夾,然後輸入chown cloudera-scm:cloudera-scm /opt/cloudera/parcels/ 賦予許可權

 (6) 將下載好的3個檔案(1個json檔案和2個parcel檔案)上傳到主節點的 /opt/cloudera/parcel-repo/ 目錄

     1.CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel     

    2.CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha

    3.manifest.json

 (7) 進入主節點的 /opt/cloudera/cm-5.10.0/share/cmf/schema/ 目錄,輸入 ./scm_prepare_database.sh mysql cm -hmaster -uroot -p --scm-hostmaster scm scm scm 初始化資料庫

四.CM啟動

   1.主節點中進入 /opt/cloudera/cm-5.10.0/etc/init.d/ 目錄,輸入./cloudera-scm-server start 啟動服務端,再輸入./cloudera-scm-agent start 啟動agent

   2.在所有從節點進入 /opt/cloudera/cm-5.10.0/etc/init.d/ 目錄,輸入./cloudera-scm-agent start 啟動agent

   3.開啟瀏覽器,訪問主節點的7180埠,首次啟動需要多等待一些時間才能訪問到,因為cloudera manager正在初始化一些資料表(有些瀏覽器可能會無法訪問,這裡我用谷歌可以訪問到這個頁面)

   4.進入頁面後,使用者名稱和密碼都是 admin,點選登陸

五.CDH安裝

 

剩下一直點繼續。

安裝完成會顯示下面問題


解決:

1.在所有節點輸入 sysctl vm.swappiness=10 按照建議,更改交換空間

2.在所有節點輸入 vi /etc/sysctl.conf ,在最後加入vm.swappiness=10 ,使配置永久生效

3.在所有節點執行 echo never >/sys/kernel/mm/transparent_hugepage/defrag ,然後點選完成

 選安裝hbase叢集,我遇見的如果選擇上面的HBASE,那麼後面有一個輸入賬號密碼的位置,然後HUE這個表檢測會失敗,沒找到原因,然後自定義選擇hbase就不會出現需要新增這個HUE。

 

 

 記憶體不足 ,然後HDFS格式化超時。在伺服器上應該不會出現這種問題。

謝謝謝大家                           -----------犀牛。學無止境

有用就粉吧。