cloudera manager生產叢集升級流程
1.將rpm包和必要的依賴檔案按照目錄結構存入Linux。
下載網址:e-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/
node0 中全部。
node1-3中只存入agent和daemons。
將parcel傳入Linux中的/opt/cloudera/parcel-repo,更改許可權755。
2.備份
http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/cm_ag_db_for_cm_upgrades.html 升級資料庫注意事項
http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/cm_ag_backup_dbs.html#xd_583c10bfdbd326ba--6eed2fb8-14349d04bee--7e98備份資料庫
3.停止叢集,停止服務。
停止 Cloudera Manager Serve
sudo service cloudera-scm-server stop
停止內嵌資料庫
sudo service cloudera-scm-server-db stop
停止所有節點上的agent
sudo service cloudera-scm-agent stop
4.升級各個主機上的CM。使用命令:
sudo yum clean all
sudoyum --nogpgcheck localupdate cloudera-scm-*
法二:另一種方式【需要實現更改本地repo
sudo yum clean all
sudo yum upgrade cloudera-*
5.檢查rpm包安裝的情況。
rpm -qa | grep cloudera
【如果使用的是嵌入式資料庫和外掛的附加軟體包,您可能還會看到一個 cloudera-manager-server-db-2 條目,具體取決於伺服器主機中之前安裝的軟體。如果安裝了 cloudera-manager-server-db-2 軟體包,且您不打算使用嵌入式資料庫,您可以刪除此軟體包。】
6. 啟動
啟動 Cloudera Manager Server
如果正在使用 Cloudera Manager 的嵌入式 PostgreSQL 資料庫,請啟動該資料庫:
sudo service cloudera-scm-server-db start
啟動 Cloudera Manager Server:
sudo service cloudera-scm-server start
7.啟動node0的agent
sudo service cloudera-scm-agent start
8.開啟Cloudera Manager Admin Console,進行4臺主機的升級。
選擇:重新執行主機升級嚮導
Agent升級:
9.升級CDH。
http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/cm_mc_upgrade_to_cdh52_using_parcels.html
附加:
備份:
1.內建資料庫
cd /etc/cloudera-scm-server
內嵌資料庫postgresql的配置檔案位置:
/var/lib/cloudera-scm-server-db
2.Namenode備份
3.Hbase備份(可以不用備份,其元資料存在於hdfs中):
hbaseshell
list_snapshots 列出快照
snapshot 'myTable', 'myTableSnapshot-122112' 建立快照
hadoop fs -ls /hbase/.hbase-snapshot 列出快照
備份快照:
hadoop fs -cp <src><dst>
(許可權)
hadoop fs -chmod 777 /BlogSnap
4.mysql備份。