2. 程式人生 > 其它 >離線部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大資料平臺叢集服務

離線部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大資料平臺叢集服務

阿新 • • 發佈：2022-04-28

Cloudera Manager

Cloudera Manager 分為兩個部分：CDH和CM。

CDH是Cloudera Distribution Hadoop的簡稱，顧名思義，就是cloudera公司釋出的Hadoop版本，封裝了Apache Hadoop，提供Hadoop所有的服務，包括HDFS,YARN,MapReduce以及各種相關的components:HBase, Hive, ZooKeeper,Kafka等。

CM是cloudera manager的簡稱，是CDH的管理平臺，主要包括CM server, CM agent。通過CM可以對CDH進行配置，監測，報警，log檢視，動態新增刪除各種服務等。

一、準備工作

環境

JDK:1.8  
centos:7.3

作業系統：CentOS 6
JDK 版本：1.7.0_80

所需安裝包及版本說明：由於我們的作業系統為CentOS7，需要下載以下檔案：

cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1

manifest.json

Cloudera Manager 下載目錄 http://archive.cloudera.com/cm5/cm/5/

CDH 下載目錄 http://archive.cloudera.com/cdh5/parcels/5.12.1/

manifest.json 下載 http://archive.cloudera.com/cdh5/parcels/5.12.1/manifest.json

CHD5 相關的 Parcel 包放到主節點的/opt/cloudera/parcel-repo/目錄中

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 重新命名為 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

這點必須注意，否則，系統會重新下載 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel

檔案

本文采用離線安裝方式，線上安裝方式請參照官方文

主機名

ip地址

安裝服務

node1 (Master)

192.168.252.121

jdk、cloudera-manager、MySql

node2 (Agents)

192.168.252.122

jdk、cloudera-manager

node3 (Agents)

192.168.252.123

jdk、cloudera-manager

node4 (Agents)

192.168.252.124

jdk、cloudera-manager

node5 (Agents)

192.168.252.125

jdk、cloudera-manager

node6 (Agents)

192.168.252.126

jdk、cloudera-manager

node7 (Agents)

192.168.252.127

jdk、cloudera-manager

二、系統環境搭建

1、網路配置(所有節點)

修改 hostname

命令格式

hostnamectl set-hostname <hostname>

依次修改所有節點 node[1-7]

hostnamectl set-hostname node1

重啟伺服器

reboot

修改對映關係

1.在 node1 的 /etc/hosts 檔案下新增如下內容

$ vi /etc/hosts

2.檢視修改後的/etc/hosts 檔案內容

[root@node7 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.252.121 node1
192.168.252.122 node2
192.168.252.123 node3
192.168.252.124 node4
192.168.252.125 node5
192.168.252.126 node6
192.168.252.127 node7

2、SSH 免密碼登入

1.在叢集node1的 /etc/ssh/sshd_config 檔案去掉以下選項的註釋

vi /etc/ssh/sshd_config 
RSAAuthentication yes      #開啟私鑰驗證
PubkeyAuthentication yes   #開啟公鑰驗證

2.將叢集node1 修改後的 /etc/ssh/sshd_config 通過 scp 命令複製傳送到叢集的每一個節點

for a in {2..7} ; do scp /etc/ssh/sshd_config node$a:/etc/ssh/sshd_config ; done

3.生成公鑰、私鑰

1.在叢集的每一個節點節點輸入命令 ssh-keygen -t rsa -P ''，生成 key，一律回車

ssh-keygen -t rsa -P ''

4.在叢集的node1 節點輸入命令

將叢集每一個節點的公鑰id_rsa.pub放入到自己的認證檔案中authorized_keys;

for a in {1..7}; do ssh root@node$a cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done

5.在叢集的node1 節點輸入命令

將自己的認證檔案 authorized_keys ` 通過 scp 命令複製傳送到每一個節點上去: /root/.ssh/authorized_keys

for a in {1..7}; do scp /root/.ssh/authorized_keys root@node$a:/root/.ssh/authorized_keys ; done

6.在叢集的每一個節點節點輸入命令

接重啟ssh服務

sudo systemctl restart sshd.service

7.驗證 ssh 無密登入

開一個其他視窗測試下能否免密登陸

例如：在node3

ssh root@node2

exit 退出

3、關閉防火牆

systemctl stop firewalld.service

4、關閉 SELINUX

檢視

[root@node1 ~]# getenforce
Enforcing
[root@node1 ~]# /usr/sbin/sestatus -v
SELinux status:

臨時關閉

## 設定SELinux 成為permissive模式
## setenforce 1 設定SELinux 成為enforcing模式
setenforce 0

永久關閉

vi /etc/selinux/config

將 SELINUX=enforcing 改為 SELINUX=disabled

設定後需要重啟才能生效

PS 我是修改node1 的 /etc/selinux/config 後，把配置檔案複製到其他節點

for a in {2..7}; do scp /etc/selinux/config root@node$a:/etc/selinux/config ; done

重啟所有節點

reboot

5、安裝 JDK

下載Linux環境下的jdk1.8，請去（官網）中下載jdk的安裝檔案

我在百度雲盤分下的連結：http://pan.baidu.com/s/1jIFZF9s 密碼：u4n4

上傳在 /opt 目錄

解壓

cd /opt
tar zxvf jdk-8u144-linux-x64.tar.gz
mv jdk1.8.0_144/ /lib/jvm

配置環境變數

vi /etc/profile
#jdk
export JAVA_HOME=/lib/jvm
export JRE_HOME=${JAVA_HOME}/jre   
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   
export PATH=${JAVA_HOME}/bin:$PATH

使環境變數生效

source /etc/profile

驗證

[root@localhost ~]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

6、設定 NTP

所有節點安裝 NTP

yum install ntp

設定同步

ntpdate -d 182.92.12.11

7、安裝配置 MySql

主節點 安裝 MySql

MySQL依賴於libaio 庫

yum search libaio
yum install libaio

下載，解壓，重新命名

通常解壓在 /usr/local/mysql

把mysql-5.7.19-linux-glibc2.12-x86_64 資料夾，重新命名成mysql,這樣就湊成/usr/local/mysql目錄了

cd /opt/
wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz
tar -zxvf /opt/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
mv /usr/local/mysql-5.7.19-linux-glibc2.12-x86_64/ /usr/local/mysql

1. 新建使用者組和使用者

groupadd mysql
useradd mysql -g mysql

2. 建立目錄並授權

cd /usr/local/mysql/ 
mkdir data mysql-files
chmod 750 mysql-files
chown -R mysql .
chgrp -R mysql .

3. 初始化MySQL

bin/mysqld --initialize --user=mysql # MySQL 5.7.6 and up

4. 注意密碼 mysql 臨時密碼

[注意]root@localhost生成臨時密碼：;b;s;)/rn6A3,也就是root@localhost:後的字串 

2017-09-24T08:34:08.643206Z 1 [Note] A temporary password is generated for root@localhost: D<qha)5gtr<!

5. 授予讀寫許可權

chown -R root .
chown -R mysql data mysql-files

6. 新增到MySQL 啟動指令碼到系統服務

cp support-files/mysql.server /etc/init.d/mysql.server

7. 給日誌目錄授予讀寫許可權

mkdir /var/log/mariadb
touch /var/log/mariadb/mariadb.log
chown -R mysql:mysql /var/log/mariadb

8. 修改 /etc/my.cnf

vi /etc/my.cnf

修改 [mysqld]組下的 socket 路徑，註釋掉/var/lib/mysql/mysql.sock，加一行為tmp/mysql.soc

[mysqld]
datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
socket=/tmp/mysql.sock

9.啟動MySQL服務

service mysql.server start

或者

/usr/local/mysql/support-files/mysql.server start

10. 登入MySQL

/usr/local/mysql/bin/mysql -uroot -p
Enter password:

如果不知道密碼 密碼在，安裝MySQL步驟 4 ，有提到，怎麼找初始化臨時密碼

11. 設定MySQL密碼

登陸成功後，設定MySQL密碼

mysql> ALTER USER   'root'@'localhost' identified by 'mima';
mysql> flush privileges;

12. 開啟遠端登入

mysql> grant all privileges on *.*  to  'root'@'%'  identified by 'mima'  with grant option;
mysql> flush privileges;
mysql> exit;

8、下載依賴包

yum -y install chkconfig
yum -y install bind-utils
yum -y install psmisc
yum -y install libxslt
yum -y install zlib
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install portmap
yum -y install fuse-libs
yum -y install redhat-lsb

三、cloudera manager Server & Agent 安裝

1、安裝 CM Server & Agent

在所有節點，建立/opt/cloudera-manager

mkdir /opt/cloudera-manager

把下載好的cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz安裝包上傳至 node1 節點/opt/目錄

在 node1 節點拷貝 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz 到所有 Server、Agent 節點建立 /opt/cloudera-manager 目錄：

for a in {2..7}; do scp /opt/cloudera-manager-*.tar.gz root@node$a:/opt/ ; done

所有 Server、Agent 節點節點解壓安裝 Cloudera Manager Server & Agent

cd /opt
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、建立使用者 cloudera-scm（所有節點）

cloudera-scm 使用者說明，摘自官網：

Cloudera Manager Server and managed services are configured to use the user account cloudera-scm by default, creating a user with this name is the simplest approach. This created user, is used automatically after installation is complete.

Cloudera管理器伺服器和託管服務被配置為在預設情況下使用使用者帳戶Cloudera-scm，建立具有這個名稱的使用者是最簡單的方法。建立使用者，在安裝完成後自動使用。

執行：在所有節點建立cloudera-scm使用者

useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置 CM Agent

修改 node1 節點

/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名。

cd /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/
vi config.ini

在node1 操作將 node1 節點修改後的 (複製到所有節點)

for a in {1..7}; do scp /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini root@node$a:/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini ; done

4、配置 CM Server 的資料庫

在主節點 node1 初始化CM5的資料庫：

下載 mysql 驅動包

cd /opt/cloudera-manager/cm-5.12.1/share/cmf/lib
wget http://maven.aliyun.com/nexus/service/local/repositories/hongkong-nexus/content/Mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar

啟動MySQL服務

service mysql.server start
cd /opt/cloudera-manager/cm-5.12.1/share/cmf/schema/

./scm_prepare_database.sh mysql cm -h node1 -uroot -pmima --scm-host node1 scm scm scm

看到如下資訊，恭喜您，配置沒毛病

[main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

格式:

scm_prepare_database.sh mysql cm -h <hostName> -u<username>  -p<password> --scm-host <hostName>  scm scm scm

對應於：資料庫型別  資料庫 伺服器 使用者名稱 密碼  –scm-host  Cloudera_Manager_Server 所在節點……

5、建立 Parcel 目錄

Manager 節點建立目錄/opt/cloudera/parcel-repo，執行：

將下載好的檔案

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
manifest.json

拷貝到該目錄下。

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo

重新命名，CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 否則，系統會重新下載 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

Agent 節點建立目錄/opt/cloudera/parcels，執行：

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、啟動 CM Manager&Agent 服務

注意，mysql 服務啟動，防火牆關閉

在 node1 (master) 執行：

Server

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start

在 node2-7 (Agents) 執行：

Agents

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

訪問 http://Master:7180 若可以訪問（使用者名稱、密碼：admin），則安裝成功。

Manager 啟動成功需要等待一段時間，過程中會在資料庫中建立對應的表需要耗費一些時間。

四、CDH5 安裝

CM Manager && Agent 成功啟動後，登入前端頁面進行 CDH 安裝配置。

免費版本的 CM5 已經去除 50 個節點數量的限制。

各個 Agent 節點正常啟動後，可以在當前管理的主機列表中看到對應的節點。

選擇要安裝的節點，點繼續。

點選，繼續，如果配置本地 Parcel 包無誤，那麼下圖中的已下載，應該是瞬間就完成了，然後就是耐心等待分配過程就行了，大約 10 多分鐘吧，取決於內網網速。

（若本地 Parcel 有問題，重新檢查步驟三、5 是否配置正確）

點選，繼續，如果配置本地Parcel包無誤，那麼下圖中的已下載，應該是瞬間就完成了，然後就是耐心等待分配過程就行了，大約10多分鐘吧，取決於內網網速。

遇到問題

問題一 接下來是伺服器檢查，可能會遇到以下問題：

Cloudera 建議將 /proc/sys/vm/swappiness 設定為最大值 10。當前設定為 30。

使用 sysctl 命令在執行時更改該設定並編輯 /etc/sysctl.conf，以在重啟後儲存該設定。

您可以繼續進行安裝，但 Cloudera Manager 可能會報告您的主機由於交換而執行狀況不良。以下主機將受到影響：node[2-7]

echo 0 > /proc/sys/vm/swappiness

問題二 已啟用透明大頁面壓縮，可能會導致重大效能問題。請執行 echo never > /sys/kernel/mm/transparent_hugepage/defrag和 echo never > /sys/kernel/mm/transparent_hugepage/enabled 以禁用此設定，然後將同一命令新增到 /etc/rc.local 等初始化指令碼中，以便在系統重啟時予以設定。以下主機將受到影響: node[2-7]

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

五、指令碼

MySql 建庫&&刪庫

1、MySql 建庫&&刪庫

amon

create database amon DEFAULT CHARACTER SET utf8; 
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';

hive

create database hive DEFAULT CHARACTER SET utf8; 
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

oozie

create database oozie DEFAULT CHARACTER SET utf8; 
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

Contact

相關推薦

離線部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大資料平臺叢集服務

Cloudera Manager Cloudera Manager 分為兩個部分：CDH和CM。 CDH是Cloudera Distribution Hadoop的簡稱，顧名思義，就是cloudera公司釋出的Hadoop版本，封裝了Apache Hadoop，提供Hadoop所有的服務，包括HDFS,YARN,

技術文件：CDH 5.13.3 Hive整合atlas進行元資料管理

目錄1. Atlas簡介2. 編譯安裝2.1 軟體版本2.2 編譯環境2.3 環境配置及檢查2.3.1 Java環境變數2.3.2 Maven環境變數2.4 編譯Atlas 1.1.02.4.1 下載原始碼2.4.2 編譯前需對部分原始檔進行修改，由於環境原因部分會報錯2

Kubernetes叢集安裝Istio1.12.1及Kubernetes和Istio版本對照關係

1、環境說明 框架版本功能 Kubernetes v1.20.6 K8S叢集 Istio v1.12.1 ServiceＭesh 2、下載 Istio

HDFS+ClickHouse+Spark：從0到1實現一款輕量級大資料分析系統

在產品精細化運營時代，經常會遇到產品增長問題：比如指標漲跌原因分析、版本迭代效果分析、運營活動效果分析等。這一類分析問題高頻且具有較高時效性要求，然而在人力資源緊張情況，傳統的資料分析模式難以滿足。本

構建AR視訊空間大資料平臺（物聯網及工業網際網路、視訊、AI場景識別）

目       錄 1.      應用背景... 2 2.      系統框架... 2 3.      AI場景識別演算法和硬體... 3

Hadoop專案之Cloudera 5.6.0.1（CDH）的安裝部署

1 前言 Cloudera是基於Apache原生的Hadoop元件進行重新封裝和加強，Cloudera可以簡化Hadoop元件的部署。

CDH | CDH6.3.1叢集離線部署

一.準備工作 離線部署: a. MySQL離線部署 b. CM離線部署 c. Parcel⽂檔案離線源部署 規劃:

Ambari 2.7.3.0 安裝部署 hadoop 3.1.0.0 (一)，附帶移除 SmartSense 服務及 FAQ 。

一、硬體環境 節點型別 作業系統 IP地址 主機名 說明 主節點 Centos-7.7 192.168.15.105 hdp01.node.com

Centos7下安裝部署Zabbix-server 5.0.1

技術標籤：監控 目錄 1. Zabbix簡介2. 伺服器準備2.1 主機資訊+IP地址2.2 檢視主機的系統版本資訊2.3 關掉Selinux和配置防火牆2.3.1 關掉Selinux2.3.2 配置防火牆

1.5 sqoop安裝及基本使用

一、安裝sqoop 1、解壓 ##解壓 [root@hadoop-senior cdh]# tar zxf sqoop-1.4.5-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/

《原神攻略》2.0第一期深淵12-1平民配隊及打法教學

很多低練度原本剛好能三星過深淵的玩家在2.0新深淵更新後，都沒能滿星。下面就為大家帶來由“履冰之”分享的《原神》2.0第一期深淵12-1平民配隊及打法教學，一起來看看吧。

時隔 5 年，安卓 12.1 AOSP 開源版本系統預設桌布終於換新

9 月 18 日訊息時隔五年，安卓開源專案（AOSP）的預設桌布終於變更了，谷歌剛剛提交的程式碼標題為“天空不是粉紅色的”，該程式碼變更意味著谷歌在近 5 年前首次引入安卓開源版本的預設“粉色天空”桌布終於換新。

kafka_2.12-1.0.0安裝部署

kafka安裝部署 安裝 安裝版本 kafka_2.12-1.0.0.tgz 解壓 cd /opt/software/ tar -xvf kafka_2.12-1.0.0.tgz -C ../app/

1 環境搭建及專案部署

1 環境搭建 （Ubuntu 20.04） 新增普通使用者 useradd going # 建立 going 使用者，通過 going 使用者登入開發機進行開發

神價手慢無：晨光修正帶 12 米 + 中性筆 5 支 1.9 元

神價手慢無：晨光修正帶 12 米 + 中性筆 5 支報價 3.9 元，限時限量 2 元券，實付 1.9 元包郵，領券併購買。使用最會買 App 下單，預計還能再返 0.52 元，返後 1.38 元包郵，點選下載最會買 App。天貓神價手慢無：晨

mysql 5.1.69 安裝部署

mysql 5.1.69 安裝部署 IP 10.3.238.193 #下載安裝 參考https://www.cnblogs.com/cnbp/p/12620825.html

win10下mysql 8.0.12 安裝及環境變數配置教程

Windows10平臺下MySQL的安裝、配置、啟動和登入及配置環境變數 1.1 在MySQL的官網上下載安裝檔案並配置MySQL

使用Docker部署MySQL 5.7&8.0主從叢集的方法步驟

> 部署 MySQL 5.7 叢集 master & slave （僅測試用） 映象版本 5.7 1、建立 overlay 網路

Linux Solr5.1安裝及匯入Oracle資料庫表資料

一、Solr5.1安裝 1、官方下載連結： 點此下載 2、下載上傳壓縮包到Linux伺服器 [root@hadoop ~]# mkdir -p /hadoop/solr

區塊鏈學習之3Windows平臺下以太坊私有鏈搭建及錢包部署和執行

在Windows下的安裝，是按著老師下發的安裝教程做的。由於前面有在Ubuntu搭建的經驗，所以感覺步驟大致相同，而且感覺Windows的簡單一些。