2. 程式人生 > 實用技巧 >CDH叢集離線部署(CDH6.3.1 + CDH6.3.2 + CentOS7)

CDH叢集離線部署(CDH6.3.1 + CDH6.3.2 + CentOS7)

阿新 • • 發佈：2020-10-12

1.1原生Hadoop的問題

  1. 版本管理過於混亂
  2. 部署過程較為繁瑣,升級難度較大
  3. 相容性差
  4. 安全性低

1.2CDH和CM(ClouderaManager)

  1. CDH(Cloudera’s Distribution Including Apache Hadoop),是Hadoop眾多分中的一種，由Cloudera公司維護，基於穩定版本的ApacheHadoop構建，並集成了很多補丁，可以直接用於生產環境。就是Hadoop等大資料安裝包的第三方版本的集合，提供了Hadoop等大資料服務的安裝包。
  2. CM(ClouderaManager)提供了一個管理和監控Hadoop等大資料服務的web介面，能讓我們方便安裝大資料生態圈的大部分服務。

1.3Hadoop自動化部署和管理平臺

主流的有ApacheAmbari和ClouderaManager，相對應的Hadoop的發行版為HDP和CDH。這種自動化部署平臺的功能一般如下:

  1. 提供Hadoop大資料叢集
  2. 管理Hadoop大資料叢集
  3. 監控Hadoop大資料叢集

PS:HDP的公司(hortonworks)已經被CDH公司(Cloudera)收購了

1.4Cloudera Manager架構

  1. Server：負責軟體安裝、配置，啟動和停止服務，管理服務執行的群集。核心
  1. Agent：安裝在每臺主機上。負責啟動和停止程序，配置，監控主機。
  1. Management Service：由一組執行各種監控，警報和報告功能角色的服務。
    圖表的生成和管理
  1. Database：儲存配置和監視資訊。
  1. Cloudera Repository：軟體由Cloudera 管理分佈儲存庫。（有點類似Maven的中心倉庫）；線上安裝（從中心倉庫拉取）和離線安裝（離線庫）
  1. Clients：是用於與伺服器進行互動的介面（API和Admin Console）

1.5CDH下載

官方下載地址:https://archive.cloudera.com

  1. CM下載

https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/

  1. CDH下載

https://archive.cloudera.com/cdh6/6.3.2/parcels/

注意:CDH的版本一定要和CM的版本對應

2.環境準備

使用VMware模擬多臺主機，由於主機條件有限，只演示三臺機器，配置如下:

主機名

系統

IP

記憶體

磁碟

cdh-1

Centos7

192.168.100.10

4G

60G

cdh-2

Centos7

192.168.100.20

2G

60G

cdh-3

Centos7

192.168.100.30

2G

60G

2.1修改主機名(所有節點)

hostnamectl set-hostname cdh-1

hostnamectl set-hostname cdh-2

hostnamectl set-hostname cdh-3

2.2關閉防火牆(所有節點)

systemctl stopfirewalld

systemctl disable firewalld

2.3關閉SELinux(所有節點)

setenforce 0 #臨時關閉

#永久關閉 將SELINUX= enforcing 修改為SELINUX=disabled

vi /etc/selinux/config

SELINUX=disabled

PS: 可以使用sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config

2.4配置IP到主機的對映(所有節點)

vi/etc/hosts

192.168.100.10 cdh-1

192.168.100.20 cdh-2

192.168.100.30 cdh-3

2.5配置免密碼登入(cdh-1)

#生成公鑰和私鑰 三次回車

ssh-keygen

#複製公鑰和私鑰

ssh-copy-id cdh-1

ssh-copy-id cdh-2

ssh-copy-id cdh-3

2.6設定使用者最大可開啟檔案數，程序數，記憶體佔用(所有節點)

vi /etc/security/limits.conf

* soft nofile 32728

* hard nofile 1024999

* soft nproc 65535

* hard noroc unlimited

* soft memlock unlimited

* hard memlock unlimited

sysctl -p

2.7設定swap空間(所有節點)

echo "vm.swappiness = 0" >> /etc/sysctl.conf

Cloudera建議將交換空間設定為0，過多的交換空間會引起GC耗時的激增。

2.8關閉大頁面壓縮(所有節點)

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

3.安裝

將下載好的CDH包和CM的包使用sftp上傳到cdh-1

3.1配置本地yum

CDH的安裝包都是rpm包如果使用rpm安裝方式安裝起來是比較複雜的，會有很多依賴問題需要解決，就需要使用yum幫助我們解決依賴問題。

1.配置centos源(cdh-1)

#掛載centos7映象

mount /dev/cdrom /mnt/

#刪除系統自帶的源

rm -rf /etc/yum.repos.d/*

#新建一個本地yum源

cat >> /etc/yum.repos.d/local.repo << EOF

[centos]

name=centos

baseurl=file:///mnt

gpgcheck=0

EOF

#驗證

yum repolist

2.安裝httpd服務（cdh-1）

#安裝

yuminstall -y httpd

#啟動

systemctl start httpd

#開機自啟

systemctl enable httpd

http服務可以幫助我們傳輸檔案，預設靜態資源的目錄為/var/www/html

3.centos源配置為http方式獲取（cdh-1）

#在http服務的靜態資源目錄建立centos目錄

mkdir /var/www/html/centos

#將centos的映象檔案複製到centos目錄

cp -rvf /mnt/* /var/www/html/centos/

#可以通過http訪問了

http://192.168.100.10/centos/

#修改cdh-1的本地centos源的配置

vi /etc/yum.repo.d/local.repo

baseurl=http://cdh-1/centos

#取消掛載

umount /dev/cdrom /mnt

其他節點配置(cdh-1,cdh-2)

cat >> /etc/yum.repos.d/local.repo << EOF

[centos]

name=centos

baseurl=http://cdh-1/centos

gpgcheck=0

EOF

#驗證

yum repolist

4.配置CM源

  1. 移動檔案安裝包檔案到http伺服器靜態檔案目錄(cdh-1)

#在/var/www/html建立存放cm包的資料夾和cdh安裝包的資料夾

mkdir /var/www/html/{cm,cdh}

#將cdh的安裝包和cm的包移動到建立的目錄

#移動cm安裝包

mv cloudera-manager-* /var/www/html/cm/

mv enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm /var/www/html/cm

#移動cdh安裝包和元資料檔案

mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel manifest.json /var/www/html/cdh/

  1. 製作CM源生成repodata檔案，需要用到createrepo這個包(cdh-1)

#安裝

yum install -y createrepo

#進入到cm的rpm包存放目錄

cd /var/www/html/cm

#生成repodata資料夾

createrepo .

  1. 配置yum源（所有節點）

cat >> /etc/yum.repos.d/cm.repo << EOF

[CM]

name=cm

baseurl=http://cdh-1/cm/

gpgcheck=0

EOF

3.2安裝

1.安裝依賴(所有節點)

yum install -y bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 Mysql-python fuse

2.安裝ClouderaManager和ClouderaAgent(cdh-1)

#安裝JDK

yum install -y oracle-j2sdk1.8.x86_64

#安裝cloudera-manager

yum install -y cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresq-server

3.安裝Mariadb

#安裝

yum install -y mariadb-server

#啟動和開機自啟

systemctl start mariadb && systemctl enable mariadb

#配置Mariadb資料庫

mysql_secure_installation

4.初始化管理節點(cdh-1)

  1. 複製mysql的jdbc驅動包到/usr/share/java目錄

需要使用sftp上傳jar包到cdh-1節點上

#建立/usr/share/java目錄

mkdir -p /usr/share/java

#複製jar包到/usr/share/java下

cp mysql-connector-java-5.1.48.jar /usr/share/java/

#注意:需要改名為mysql-connector-java.jar

mv /usr/share/java/mysql-connector-java-5.1.48.jar /usr/share/java/mysql-connector-java.jar

  1. 初始化資料庫

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm root root

5.安裝agent節點

只需要在chd-2和cdh-3節點上安裝

#安裝jdk

yum install -y oracle-j2sdk1.8.x86_64

#安裝agent

yum install cloudera-manager-daemons cloudera-manager-agent -y

6.修改配置檔案(所有節點)

修改ClouderaAgent配置檔案/etc/cloudera-scm-agent/config.ini，配置server_host為主節點cdh-1

#通過vi命令修改

vi /etc/cloudera-scm-agent/config.ini

server_host=cdh-1

#也可以通過sed命令修改

sed -i "s/server_host=localhost/server_host=cdh-1/g" /etc/cloudera-scm-agent/config.ini

注意:只用使用一種命令修改就行了，推薦使用sed

7.配置JAVA_HOME(所有節點)

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/

export PATH=$PATH:$JAVA_HOME/bin

3.3啟動

1.啟動ClouderaManager(cdh-1)

在主節點啟動ClouderaManager

#啟動

systemctl startcloudera-scm-server

#設定開機自啟

systemctl enable cloudera-scm-server

2.啟動ClouderaAgent(所有節點)

#啟動

systemctl start cloudera-scm-agent

#開機自啟

systemctl enablecloudera-scm-agent

可以訪問http://192.168.100.10:7180使用者名稱密碼都是admin

4.使用

4.1登入

  • 選擇試用版

4.2配置叢集

  • 設定叢集的名稱

  • 選擇叢集主機

  • 配置CDH安裝包

  • 配置CDH parcel的位置

  • 選擇我們配置好的

  • 等待下載包

  • 檢查主機效能

4.3安裝Zookeeper

  • 安裝選項

  • 選擇服務安裝主機

  • 資料庫配置

  • 需要建立資料庫(cdh-1)

#建庫

create database activitydefault charset utf8;

create database reportsdefault charset utf8;

create database auditdefault charset utf8;

create database metadatadefault charset utf8;

#授權

grant all on activity.* to [email protected] identified by 'cdh';

grant all on activity.* to [email protected]'%' identified by 'cdh';

grant all on reports.* to [email protected] identified by 'cdh';

grant all on reports.* to [email protected]'%' identified by 'cdh';

grant all on audit.* to [email protected] identified by 'cdh';

grant all on audit.* to [email protected]'%' identified by 'cdh';

grant all on metadata.* to [email protected] identified by 'cdh';

grant all on metadata.* to [email protected]'%' identified by 'cdh';

  • 測試連線

  • 可以配置郵件報警

  • 安裝

  • 安裝完成

問題

記憶體 CPU過小 配置問題

總結

  • 安裝過程還是比較簡單的，只需要配置yum就可以使用yum安裝
  • 由於電腦的配置有限，導致出現了一些問題，記憶體儘量能給大一點就給大一點

相關推薦

CDH叢集離線部署(CDH6.3.1 + CDH6.3.2 + CentOS7)

1.1原生Hadoop的問題 版本管理過於混亂部署過程較為繁瑣,升級難度較大相容性差安全性低

CDH | CDH6.3.1叢集離線部署

一.準備工作 離線部署: a. MySQL離線部署 b. CM離線部署 c. Parcel⽂檔案離線源部署 規劃:

標題 輸出： 2/1，3/1，5/2，8/3，13/5，21/8，…求出這個數列前 N（N＞5）項的和。(要求：用scanf輸入累加項N，用for或while做迴圈累加)

技術標籤：我的C語言學習歷程c語言 標題 輸出： 2/1，3/1，5/2，8/3，13/5，21/8，…求出這個數列前 N（N>5）項的和。(要求：用scanf輸入累加項N，用for或while做迴圈累加)

給出一個有N個數的序列，如果一對數的前後位置與大小順序相反，即前面的數大於後面的數，那麼它們就稱為一個逆序。一個序列中逆序的總數就稱為這個排列的逆序數。 如2 4 3 1中，2 1，4 3，4

技術標籤：C語言 1858： 給出一個有N個數的序列，如果一對數的前後位置與大小順序相反，即前面的數大於後面的數，那麼它們就稱為一個逆序。一個序列中逆序的總數就稱為這個排列的逆序數。如2 4 3 1中，2 1，4 3，

離線部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大資料平臺叢集服務

Cloudera Manager Cloudera Manager 分為兩個部分：CDH和CM。 CDH是Cloudera Distribution Hadoop的簡稱，顧名思義，就是cloudera公司釋出的Hadoop版本，封裝了Apache Hadoop，提供Hadoop所有的服務，包括HDFS,YARN,

openstack ussuri版本 叢集（1臺控制節點+1臺計算節點）離線部署

一 摘要 本文主要介紹kolla-ansible 離線方式部署 openstack ，共使用兩臺物理機，1臺使用者控制節點，另一臺用於計算節點、網路、儲存節點。

Spark 2.4.0 cdh6.3.2連線 Hive 2.1.1 cdh6.3.2

技術標籤：spark 以下maven配置能正確讀取hive. 不該加的不要加. spark版本用cdh的.

CDH6.3.1搭建

技術標籤：cdh CDH6.3.1搭建 一.搭建規劃 ClouderaServerClouderaAgenthadoop01hadoop01hadoop02 二.搭建準備

離線部署k8s-1.19.0叢集

0、節點說明： 1、環境配置 1.1 關閉防火牆、selinux、swap setenforce 0 sed -i \'s/=enforcing/=disabled/g\' /etc/selinux/config

【Kubernetes系列】第3篇 Kubernetes叢集安裝部署

本文介紹瞭如何通過Kubespray來進行部署高可用k8s叢集，k8s版本為1.12.5。 1、部署手冊

ASP.NET Core 3.1 WebApi部署到騰訊雲CentOS 7+Docker

一、準備 首先需要有一臺CentOS伺服器，安裝最新版Docker，配置映象加速等，安裝方法網上很多，下面是一些相關指令：

【原】二進位制部署 k8s 1.18.3

二進位制部署 k8s 1.18.3 1、相關前置資訊 1.1 版本資訊 kube_version: v1.18.3 etcd_version: v3.4.9

在阿里雲函式計算上部署.NET Core 3.1的方法

使用阿里雲ECS或者其他常見的VPS服務部署應用的時候，需要手動配置環境，並且監測ECS的行為，做補丁之類的，搞得有點複雜。好在很多雲廠商（阿里雲、Azure等）提供了Serverless服務，藉助於Serverless，開發人員可以

ansible 部署redis叢集（三臺主機6節點3主3備）

ansible 部署 redis叢集 由於檔案比較大直接放百度盤 連結：https://pan.baidu.com/s/1PadPEXDerpE2ocTQMtwzxQ

基於.NET Core 3.1 網站開發和部署的方法

一、準備開發環境 1.主要開發工具的選擇 vscode .NET Core command-line interface (CLI) tools

CDH叢集部署最佳實踐（轉）

一、叢集規劃 如果你正準備從0開始搭建一套CDH叢集應用於生產環境，那麼此時需要做的事情應該是結合當前的資料、業務、硬體、節點、服務等對叢集做合理的規劃，而不是馬上動手去安裝軟體。

.NET Core 3.1使用docker打包並部署

簡介 本文主要說明使用.NET Core 3.1搭建的站點如何使用docker打包並執行容器供外網訪問。

CentOS 8 部署 ASP.NET Core 3.1 應用程式

安裝 .NET Core SDK SDK 安裝：請參照微軟官方文件https://docs.microsoft.com/zh-cn/dotnet/core/install/linux-centos

Ambari 2.7.3.0 安裝部署 hadoop 3.1.0.0 (一)，附帶移除 SmartSense 服務及 FAQ 。

一、硬體環境 節點型別 作業系統 IP地址 主機名 說明 主節點 Centos-7.7 192.168.15.105 hdp01.node.com

Docker學習筆記之-部署.Net Core 3.1專案到Docker容器，並使用Nginx反向代理（CentOS7）(二)

接著上一節沒有演示完的繼續，連結：Docker學習筆記之-部署.Net Core 3.1專案到Docker容器，並使用Nginx反向代理（CentOS7）(一)