Cloudera-Manager5.14.0離線安裝

阿新 • • 發佈：2018-12-27

Cloudera-Manager5.14.0離線安裝

Cloudera Manager是cloudera公司提供的一種大資料的解決方案，可以通過ClouderaManager管理介面來對我們的叢集進行安裝和操作，提供了良好的UI介面互動，使得我們管理叢集不用熟悉任何的linux技術，只需要通過網頁瀏覽器就可以實現我們的叢集的操作和管理，讓我們使用和管理叢集更加的方便。

1、ClouderaManager整體架構

Cloudera Manager的核心是Cloudera Manager Server。Server託管Admin Console Web Server和應用程式邏輯。它負責安裝軟體、配置、啟動和停止服務以及管理執行服務的群集。

2、ClouderaManager環境安裝前準備

準備兩臺虛擬機器，其中一臺作為我們的主節點，安裝我們的ClouderaManager Server與ClouderaManager agent，另外一臺作為我們的從節點只安裝我們的clouderaManager agent
機器規劃如下
在這裡插入圖片描述

所有機器統一兩個路徑

mkdir -p /export/softwares/
mkdir -p /export/servers/

2.1、兩臺機器更改主機名

第一臺機器更改主機名

vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01.hadoop.com

第二臺機器更改主機名

vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node02.hadoop.com

2.2、更改主機名與IP地址的對映

兩臺機器更改hosts檔案

vim /etc/hosts
192.168.52.100 node01.hadoop.com  node01
192.168.52.110 node02.hadoop.com  node02

2.3、兩臺機器關閉防火牆

service iptables stop
chkconfig iptables off

2.4、兩臺機器關閉selinux

vim /etc/selinux/config
SELINUX=disabled

2.5、兩臺機器安裝jdk

將我們的jdk的壓縮包上傳到node01.hadoop.com的/export/softwares路徑下

cd /export/softwares/
tar -zxvf jdk-8u141-linux-x64.tar.gz  -C /export/servers/

配置環境變數

vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.8
export PATH=:$JAVA_HOME/bin:$PATH

第二臺機器同樣安裝jdk即可

scp -r /export/servers/jdk1.8    node02:/export/servers/
scp /etc/profile   node02:/etc/

兩臺機器都執行：

source /etc/profile

2.6、兩臺機器實現SSH免密碼登入

第一步：兩臺器生成公鑰與私鑰
兩臺機器上面執行以下命令，然後按下三個回車鍵即可生成公鑰與私鑰

ssh-keygen -t rsa

第二步：兩臺機器將公鑰拷貝到同一個檔案當中去
兩臺機器執行以下命令

ssh-copy-id node01.hadoop.com

第三步：拷貝authorized_keys到其他機器
第一臺機器上將authorized_keys拷貝到第二臺機器

scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh/

2.7、第二臺機器安裝mysql資料庫

通過yum源，線上安裝mysql

yum  install  mysql  mysql-server  mysql-devel
/etc/init.d/mysqld start
/usr/bin/mysql_secure_installation
 grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
 flush privileges;

MySQL安裝

2.8、解除linux系統開啟檔案最大數量的限制

兩臺機器都需要執行

vi /etc/security/limits.conf
#   新增以下內容
*	soft noproc 11000
*	hard noproc 11000
*	soft nofile 65535
*	hard nofile 65535

2.9、設定linux交換區記憶體

兩臺機器都要執行
執行命令

echo 10 > /proc/sys/vm/swappiness

並編輯檔案sysctl.conf：

vim /etc/sysctl.conf
# 新增或修改
vm.swappiness = 0

兩臺機器都要執行：

echo never > /sys/kernel/mm/transparent_hugepage/defrag 
echo never > /sys/kernel/mm/transparent_hugepage/enabled

並編輯檔案rc.local ：

vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2.10、兩臺機器時鐘同步

兩臺機器需要進行時鐘同步操作，保證兩臺機器時間相同

執行命令：crontab -e
新增： */1 * * * * /usr/sbin/ntpdate ntp3.aliyun.com;

3、clouderaManager安裝資源下載

3.1下載安裝資源並上傳到伺服器

我們這裡安裝CM5.14.0這個版本，需要下載以下這些資源，一共是四個檔案即可
下載cm5的壓縮包
下載地址：http://archive.cloudera.com/cm5/cm/5/
具體檔案地址：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.14.0_x86_64.tar.gz

下載cm5的parcel包
下載地址：
http://archive.cloudera.com/cdh5/parcels/

第一個檔案具體下載地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

第二個檔案具體下載地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1

第三個檔案具體下載地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json

將這四個安裝包都上傳到第一臺機器的/opt/softwares路徑下

3.2 解壓壓縮包到指定路徑

解壓CM安裝包到/opt路徑下去

cd /export/softwares
tar -zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/

3.3將我們的parcel包的三個檔案拷貝到對應路徑

將我們的parcel包含三個檔案，拷貝到/opt/cloudera/parcel-repo路徑下面去，並記得有個檔案需要 重新命名

cd /export/softwares/
cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 manifest.json  /opt/cloudera/parcel-repo/

重新命名這個檔案

cd /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha

3.4所有節點新增普通使用者並給與sudo許可權

在node01機器上面新增普通使用者並賦予sudo許可權
執行以下命令建立普通使用者cloudera-scm

useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

賦予cloudera-scm普通使用者的sudo許可權

vim /etc/sudoers
cloudera-scm ALL=(ALL) NOPASSWD: ALL

3.5更改主節點的配置檔案

node01機器上面更改配置檔案

vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
server_host=node01.hadoop.com

3.6 將/opt目錄下的安裝包發放到其他機器

將第一臺機器的安裝包發放到其他機器

cd /opt
scp -r cloudera/ cm-5.14.0/ node02:/opt

3.7 建立一些資料庫備用

node02機器上面建立資料庫(mysql中)

hive 資料庫

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

叢集監控資料庫

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

hue 資料庫

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

oozie 資料庫

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

3.8 準備資料庫連線的驅動包

在所有機器上面都準備一份資料庫的連線驅動jar包放到/usr/share/java路徑下
準備一份mysql的驅動連線包（驅動包重新命名 ），放到/usr/share/java路徑下去

cd /export/softwares/
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd /export/softwares/mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar

拷貝驅動包到第二臺機器

cd /usr/share/java
scp mysql-connector-java.jar node02:$PWD

3.9 為clouderaManager建立資料庫

/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode02  -uroot -p123456 --scm-host node01 scm root 123456

命令說明：
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh 資料庫型別
-h資料庫主機
–u資料庫使用者名稱
–p資料庫密碼
–scm-host cm主機資料庫名稱使用者名稱密碼

3.10 啟動服務

主節點啟動clouderaManager Server與ClouderaManager agent服務

/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

從節點node02啟動ClouderaManager agent服務

3.11 瀏覽器頁面訪問

http://node01:7180/cmf/login

預設使用者名稱admin
密碼 admin

Cloudera-Manager5.14.0離線安裝

Cloudera-Manager5.14.0離線安裝

1、ClouderaManager整體架構

2、ClouderaManager環境安裝前準備

2.1、兩臺機器更改主機名

2.2、更改主機名與IP地址的對映

2.3、兩臺機器關閉防火牆

2.4、兩臺機器關閉selinux

2.5、兩臺機器安裝jdk

2.6、兩臺機器實現SSH免密碼登入

2.7、第二臺機器安裝mysql資料庫

2.8、解除linux系統開啟檔案最大數量的限制

2.9、設定linux交換區記憶體

2.10、兩臺機器時鐘同步

3、clouderaManager安裝資源下載

3.1下載安裝資源並上傳到伺服器

3.2 解壓壓縮包到指定路徑

3.3將我們的parcel包的三個檔案拷貝到對應路徑

3.4所有節點新增普通使用者並給與sudo許可權

3.5更改主節點的配置檔案

3.6 將/opt目錄下的安裝包發放到其他機器

3.7 建立一些資料庫備用

3.8 準備資料庫連線的驅動包

3.9 為clouderaManager建立資料庫

3.10 啟動服務

3.11 瀏覽器頁面訪問

相關推薦