1. 程式人生 > >CM+CDH大數據平臺

CM+CDH大數據平臺

base AC 自己 scp scala www 路徑 centos 準備工作

我這裏搭建的是3節點,centos6.5的靜態ip ,ssh免密碼登錄,防火墻關閉,時鐘同步等等一些準備工作我這裏就不多說了

我們可以進官網看看

https://www.cloudera.com/

我們進來看看

https://www.cloudera.com/documentation.html

技術分享圖片

技術分享圖片

技術分享圖片

我們先部署我們的本地yum源

技術分享圖片

技術分享圖片

安裝完之後, 我們可以發現多了這麽一個目錄

技術分享圖片

技術分享圖片

下面我們把httpd服務啟動一下

技術分享圖片

直接用我們的ip地址登錄

技術分享圖片

我們在http://archive.cloudera.com/cm5/repo-as-tarball/5.8.0/下載cm的tar包

我們下載這個

技術分享圖片

下載好了

技術分享圖片

我們上傳到cm1這個節點上

技術分享圖片

上傳完了之後我們在html目錄下創建目錄

技術分享圖片

把這個包移動到這個路徑下

技術分享圖片

我們進去解壓一下這個tar包

技術分享圖片

我們直接在瀏覽器輸入http://192.168.86.141/cm-5.8.0/

技術分享圖片

把壓縮包幹掉

技術分享圖片

技術分享圖片

我們使用下面的命令先來安裝創建本地源的工具

技術分享圖片

yum install yum-utils createrepo

技術分享圖片

技術分享圖片

技術分享圖片

createrepo /var/www/html/cm-5.8.0

在瀏覽器裏可以看到多了這個目錄,本地yum倉庫的目錄

技術分享圖片

接下來我們修改本地源的地址

技術分享圖片

技術分享圖片

技術分享圖片

[myrepo]
  name=myrepo
 baseurl=http://192.168.86.141/cm-5.8.0
 enabled = 1
 gpgcheck = 0

保存退出後我們把這個源文件分發給另外兩個節點

技術分享圖片

[root@cm1 yum.repos.d]#  scp myrepo.repo root@cm2:/etc/yum.repos.d
myrepo.repo                                                                                 
100% 93 0.1KB/s 00:00 [root@cm1 yum.repos.d]# scp myrepo.repo root@cm3:/etc/yum.repos.d myrepo.repo 100% 93 0.1KB/s 00:00 [root@cm1 yum.repos.d]#

我們到其他節點查看一下

技術分享圖片

技術分享圖片

我們先創建一個目錄

技術分享圖片

下載http://archive.cloudera.com/cm5/installer/5.8.0/

技術分享圖片

上傳

技術分享圖片

技術分享圖片

賦予權限

技術分享圖片

我們執行一下這個文件

./cloudera-manager-installer.bin --skip_repo_package=1

技術分享圖片

技術分享圖片

遇到這情況就檢查防火墻是否關閉,vim /etc/sysconfig/selinux

技術分享圖片

如果CM安裝失敗,直接刪除文件目錄

rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera*

技術分享圖片

這種情況的話就要檢查系統的jdk了,先把centos6.5的自帶jdk卸載,安裝1.7版本的jdk

當你看的這個界面的時候,就會彈出一個瀏覽器窗口

技術分享圖片

當然這個界面不會馬上出來,因為服務啟動需要點時間

我們可以查看一下服務啟動狀態

技術分享圖片

技術分享圖片

分別輸入admin admin作用戶名和密碼,其實也可以不用默認彈出的瀏覽器,打開電腦安裝的瀏覽器,輸入地址http://192.168.86.141:7180/

登錄進去之後

技術分享圖片

接下來我們需要檢查我們系統是時間同步情況,因為這個對時鐘同步的要求非常高

技術分享圖片

技術分享圖片

技術分享圖片

下載CDH的parcels包並配置到Cloudera Manager主服務器上

檢查完之後我們下載 Parcels包

Parcels包下載地址: http://archive.cloudera.com/cdh5/parcels/

技術分享圖片

把這個兩個文件下載

技術分享圖片

下載後我們把這兩個文件上傳到cm1節點上

技術分享圖片

技術分享圖片

技術分享圖片

接下來我們需要重啟一下cm server這個服務

技術分享圖片

重啟完之後我們需要再次打開http://192.168.86.141:7180/這個地址,這裏需要一點時間去等等,啟動需要時間的

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

輸入主機名,我這裏是3個節點都安裝

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

因為我之前安裝了jdk,這裏我們就不選擇安裝了,如果之前沒有安裝的話可以選安裝

技術分享圖片

技術分享圖片

這裏輸入的是root用戶的密碼

技術分享圖片

技術分享圖片

接下來等待安裝

技術分享圖片

等待自己下載安裝技術分享圖片

經過漫長的等待

技術分享圖片

技術分享圖片

CM+CDH大數據平臺