centos7 叢集的配置和新增步驟
CentOS Linux release 7.3.1611 (Core)
轉載+原創
序、叢集的新增和配置需要做一下前期準備,前期準備:叢集配置的前期準備
- 需要完成前期準備才能順利新增和配置叢集:叢集配置的前期準備
一、在主節點上安裝cm5.15.1(cloudera-manager 5.15.1 )
本次選用cm5.15.1版本,可以根據需求選擇相應版本。不同的版本需要下載版本對應的需求檔案。
- 預下載檔案
安裝cm5.15.1前安裝需要預先下載5個rpm包,並預先安裝此5個rpm包,因為包來源是國外,任憑安裝程式自己下載會導致安裝過程極其緩慢且很大可能性安裝失敗
解壓後在 cm\5.15.1\RPMS\x86_64\ 目錄下,執行
yum -y install cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64.rpm
yum -y install cloudera-manager-daemons-5.15.1-1.cm5151.p0.3.el7.x86_64.rpm
yum -y install cloudera-manager-server-5.15.1-1.cm5151.p0.3.el7.x86_64.rpm
yum -y install cloudera-manager-server-db-2 -5.15.1-1.cm5151.p0.3.el7.x86_64.rpm
yum -y install oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
此外需要在兩臺子節點上安裝 cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64.rpm
yum -y install cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64.rpm
- 安裝cm5.15.1
chmod 755 cloudera-manager-installer.bin
執行安裝檔案
./cloudera-manager-installer.bin
安裝完成後,可以通過瀏覽器登入 localhost:7180 網頁 進行叢集的新增。
二、叢集的新增
叢集新增在後期下載以及分配的時候也需要以下三個檔案,以下三個檔案任憑叢集新增程序下載的話,新增過程會極其緩慢且很大可能性新增失敗。
CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel
CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1
manifest.json
在下載目錄下,通過執行以下命令
mv CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1 CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha
將
CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1
改名為
CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha
成功改名後,在三個檔案的下載目錄下,通過執行以下命令,將到 /opt/cloudera/parcel-repo/ 目錄
cp CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel /opt/cloudera/parcel-repo/
cp CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1 /opt/cloudera/parcel-repo/
cp manifest.json /opt/cloudera/parcel-repo/
三、進行叢集的配置
圖文可能不符,只要前期條件具備,接下來的配置將不會很慢。
在瀏覽器輸入localhost:7180初次登入 使用者名稱:admin 密碼:admin
Hadoop及其元件安裝選擇Cloudera版本,選擇免費版本
預設繼續
為CDH叢集指定主機,輸入主節點和子節點地址,SSH埠22 進行搜尋。本文中應該輸入192.168.3.[55-57](圖文不符)
選擇對應的CDH,本文中應該選擇5.15.1版本,其餘預設(圖文不符)
預設繼續
輸入root密碼,所有節點密碼均為此密碼,其餘預設
新增主機
新增主機完成
新增主機完成,顯示明細
新增服務,選擇自定義服務,選擇HDFS,YARN,HBASE,ZOOKEEPER四項
預設繼續
選擇自定義資料庫,填寫連線資訊,並點選測試連線按鈕
預設執行即可
啟動服務
叢集新增,配置完成。