1. 程式人生 > >cloudera manager生產叢集升級流程

cloudera manager生產叢集升級流程

1.rpm包和必要的依賴檔案按照目錄結構存入Linux

下載網址:e-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/

 node0 中全部。

 node1-3中只存入agent和daemons。

將parcel傳入Linux中的/opt/cloudera/parcel-repo,更改許可權755。

2.備份

http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/cm_ag_db_for_cm_upgrades.html  升級資料庫注意事項

http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/cm_ag_backup_dbs.html#xd_583c10bfdbd326ba--6eed2fb8-14349d04bee--7e98備份資料庫

3.停止叢集,停止服務。

停止 Cloudera Manager Serve

sudo service cloudera-scm-server stop

停止內嵌資料庫

sudo service cloudera-scm-server-db stop

停止所有節點上的agent

sudo service cloudera-scm-agent stop

4.升級各個主機上的CM。使用命令:

 sudo yum clean all

  sudoyum --nogpgcheck localupdate cloudera-scm-*

         法二:另一種方式【需要實現更改本地repo

源】--/etc/yum.repo.d/cloudera-manager.repo)

         sudo yum clean all

         sudo yum upgrade cloudera-*

5.檢查rpm包安裝的情況。

rpm -qa | grep cloudera

【如果使用的是嵌入式資料庫和外掛的附加軟體包,您可能還會看到一個 cloudera-manager-server-db-2 條目,具體取決於伺服器主機中之前安裝的軟體。如果安裝了 cloudera-manager-server-db-2 軟體包,且您不打算使用嵌入式資料庫,您可以刪除此軟體包。】

6. 啟動

http:    service httpd start

啟動 Cloudera Manager Server

如果正在使用 Cloudera Manager 的嵌入式 PostgreSQL 資料庫,請啟動該資料庫:

 sudo service cloudera-scm-server-db start

啟動 Cloudera Manager Server:

 sudo service cloudera-scm-server start

7.啟動node0agent

 sudo service cloudera-scm-agent start

8.開啟Cloudera Manager Admin Console,進行4臺主機的升級。

選擇:重新執行主機升級嚮導

Agent升級:

9.升級CDH。

 http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/cm_mc_upgrade_to_cdh52_using_parcels.html

附加:

備份:

1.內建資料庫

cd /etc/cloudera-scm-server

內嵌資料庫postgresql的配置檔案位置:

 /var/lib/cloudera-scm-server-db

2.Namenode備份

3.Hbase備份(可以不用備份,其元資料存在於hdfs中):

         hbaseshell

         list_snapshots  列出快照

snapshot 'myTable', 'myTableSnapshot-122112'   建立快照
hadoop fs -ls /hbase/.hbase-snapshot    列出快照
備份快照:
    hadoop fs -cp <src><dst>

(許可權)

hadoop fs -chmod 777 /BlogSnap

4.mysql備份。