CM&CDH傻瓜安裝教程(完美)
雖然我是菜鳥,但是這個安裝是自己電腦搭建的,按照步驟下去,一定不會報錯。--------有幫助就粉下吧!!!
下載地址
http://archive.cloudera.com/cm5/ CM
http://archive.cloudera.com/cdh5/parcels/5.10.0.41/ CDH
官網連結
https://www.cloudera.com/downloads.html
一.前期準備
1.準備centos7
2.jdk1.7 (不支援1.8,直接解壓配置環境變數即可)
3.MySQL5.5
(1)安裝mysql5.5,直接在master節點安裝
(2)上傳zip,輸入 unzip 包名 ,進行解壓
(3)輸入 yum -y remove mariadb-libs-1:5.5.44-2.el7.centos.x86_64 解決相容問題
(4)輸入 rpm -ivh MySQL-server-5.5.54-1.el7.x86_64.rpmMySQL-client-5.5.54-1.el7.x86_64.rpm MySQL-devel-5.5.54-1.el7.x86_64.rpm ,進行安裝
(5)安裝成功後,輸入 service mysql start 啟動mysql
(6)輸入chkconfig mysql on 設定為開機自啟動
(7)輸入mysqladmin -uroot password admin ,設定密碼為admin
(8)輸入mysql -u root -p 進入mysql
(9)輸入create database oozie DEFAULT CHARACTER SET utf8; 建庫
輸入create database hive DEFAULT CHARACTER SET utf8; 建庫
輸入create database manager DEFAULT CHARACTER SET utf8; 建庫
輸入create database hbase DEFAULT CHARACTER SET utf8; 建庫
(7)輸入GRANT ALL PRIVILEGES ON *.* TO 'root'@'master' IDENTIFIED BY 'admin' WITH GRANTOPTION; 遠端授權
(8)輸入FLUSH PRIVILEGES; 重新整理修改
輸入exit 退出
(9)所有節點執行 useradd --system--home=/opt/cloudera-manager/cm-5.4.3/run/cloudera-scm-server --no-create-home
--shell=/bin/false --comment "Cloudera SCM User"cloudera-scm 新增使用者
(10)新建/usr/share/java 目錄,將mysql驅動包放入,並改名為 mysql-connector-java.jar
4.clouder manager 5.10.0
5.CDH5.10
二.安裝準備
1.配置主機名字(每天機器都要配)
vi /etc/hosts --配置主機對映 我這裡配置的master 跟slave
vi /etc/hostname --編寫主機名字 IP 主機名(每天都要配置)
2.同步時間 (都要)
我用的是:
sudo date -s "2017-08-05 19:49:00"
還可以用ntp 服務。
3.關閉防火牆 (都要)
(1)檢視命令:service iptables status
(2)關閉:chkconfig iptables off
4.配置ssh無密碼登入 (都要)
(1)輸入 ssh-keygen -t dsa -P '' -f~/.ssh/id_dsa 建立一個無密碼的公鑰,
-t是型別的意思,dsa是生成的金鑰型別,-P是密碼,’’表示無密碼,-f後是密要
生成後儲存的位置
(2)輸入 cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys 將公鑰id_dsa.pub
新增進keys,這樣就可以實現無密登陸ssh
(3)ssh master (驗證)
sshslave (驗證)
(4)我自己配了2臺,所有都要配置這個。
5.禁用selinux
(1)vi /etc/selinux/config 將SELINUX=enforcing改為SELINUX=disabled,修改完成後重啟機器生效。(2臺都要)
(2)用getenforce檢視 結果Disabled這個。
6.所有節點輸入 yum -y install chkconfigpython bind-utils psmisc libxslt zlib sqlite
cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libsredhat-lsb --下載依賴
三.CM安裝
(1)在master節點輸入 /opt/cloudera 新建目錄
上傳tar包到新建的目錄並解壓 (master即為主節點)
(2)輸入 vi/opt/cloudera/cm-5.10.0/etc/cloudera-scm-agent/config.ini 修改配置檔案中的server.hosts為master,(主節點的主機名)
(3) 將 /opt/cloudera/ 用scp命令同步到所其他節點
我這裡是 scp -r /opt/cloudera [email protected]:/opt/
(4) 在主節點輸入 mkdir /opt/cloudera/parcel-repo/ 新建資料夾,然後輸入chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/賦予許可權
(5) 在從節點輸入 mkdir /opt/cloudera/parcels/ 新建資料夾,然後輸入chown cloudera-scm:cloudera-scm /opt/cloudera/parcels/ 賦予許可權
(6) 將下載好的3個檔案(1個json檔案和2個parcel檔案)上傳到主節點的 /opt/cloudera/parcel-repo/ 目錄
1.CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel
2.CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha
3.manifest.json
(7) 進入主節點的 /opt/cloudera/cm-5.10.0/share/cmf/schema/ 目錄,輸入 ./scm_prepare_database.sh mysql cm -hmaster -uroot -p --scm-hostmaster scm scm scm 初始化資料庫
四.CM啟動
1.主節點中進入 /opt/cloudera/cm-5.10.0/etc/init.d/ 目錄,輸入./cloudera-scm-server start 啟動服務端,再輸入./cloudera-scm-agent start 啟動agent
2.在所有從節點進入 /opt/cloudera/cm-5.10.0/etc/init.d/ 目錄,輸入./cloudera-scm-agent start 啟動agent
3.開啟瀏覽器,訪問主節點的7180埠,首次啟動需要多等待一些時間才能訪問到,因為cloudera manager正在初始化一些資料表(有些瀏覽器可能會無法訪問,這裡我用谷歌可以訪問到這個頁面)
4.進入頁面後,使用者名稱和密碼都是 admin,點選登陸
五.CDH安裝
剩下一直點繼續。
安裝完成會顯示下面問題
解決:
1.在所有節點輸入 sysctl vm.swappiness=10 按照建議,更改交換空間
2.在所有節點輸入 vi /etc/sysctl.conf ,在最後加入vm.swappiness=10 ,使配置永久生效
3.在所有節點執行 echo never >/sys/kernel/mm/transparent_hugepage/defrag ,然後點選完成
選安裝hbase叢集,我遇見的如果選擇上面的HBASE,那麼後面有一個輸入賬號密碼的位置,然後HUE這個表檢測會失敗,沒找到原因,然後自定義選擇hbase就不會出現需要新增這個HUE。
記憶體不足 ,然後HDFS格式化超時。在伺服器上應該不會出現這種問題。
謝謝謝大家 -----------犀牛。學無止境
有用就粉吧。