CDH6.3.1搭建

阿新 • • 發佈：2021-01-14

技術標籤：cdh

CDH6.3.1搭建

一.搭建規劃

ClouderaServer	ClouderaAgent
hadoop01	hadoop01
	hadoop02

二.搭建準備

1.設定主機名

#檢視主機名稱
hostname

#永久修改主機名（重啟生效）
hostnamectl set-hostname hadoop01

2.設定主機對映名（所有節點）

#編輯/etc/hosts檔案
vim /etc/hosts

#加入主機對映名，儲存退出
192.168.56.101  hadoop01
192.168.56.102  hadoop02

在這裡插入圖片描述

3.安裝JDK1.8（所有節點）

#編輯/etc/profile，設定java環境變數 

export JAVA_HOME=/opt/jdk8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#重新整理配置檔案
source /etc/profile

4.統一時間（所有節點）

#在所有節點上安裝ntpdate服務
yum install ntpdate

#所有節點啟動ntpdate服務並設定開機自啟
systemctl start ntpdate
systemctl enable ntpdate

在所有節點上統一時間：

ntpdate time.windows.com

5.關閉防火牆（所有節點）

#所有節點關閉防火牆
systemctl stop firewalld

#所有節點關閉自啟
systemctl disable firewalld

#檢視防火牆狀態
systemctl status firewalld

在這裡插入圖片描述

6.配置hadoop使用者sudoer許可權（所有節點）

所有節點新增hadoop使用者並設定密碼：

useradd hadoop
passwd hadoop

在這裡插入圖片描述

#所有修改許可權配置檔案
vi /etc/sudoers

#在“root ALL=(ALL)  ALL”下面新增
hadoop  ALL=(ALL)       ALL

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-0zoKPPYX-1610456506463)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110164342573.png)]

7.關閉Selinux（所有節點）

修改/etc/selinux/config 配置檔案中的 SELINUX=disabled

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-ObatVfim-1610456506465)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110174039977.png)]

8.配置免密登陸（所有節點）

以root使用者為例生成公鑰，連按回車即可：

ssh-keygen -t rsa

建立 hadoop01 到 hadoop02 的免密登入：

ssh-copy-id hadoop02

建立 hadoop01 到 hadoop01 的免密登入：

ssh-copy-id hadoop01

在hadoop01節點上為hadoop01、hadoop02配置免密登陸。

在hadoop02節點上為hadoop01、hadoop02配置免密登陸。

9.設定使用者最大能開啟檔案數目、程序數和記憶體（所有節點）

檢視最大開啟檔案數顯示：

ulimit -a

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-V3OSAQSR-1610456506467)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110175306102.png)]

vim /etc/security/limits.conf

#在最後插入配置
* soft nofile 32728
* hard nofile 1029345
* soft nproc 65536
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-il95nEFr-1610456506469)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110180657962.png)]

10.禁用IPV6（在root使用者下執行）

#所有主機上執行
echo " " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

11.解決透明大頁面問題

#所有主機上查詢；[always] never表示已啟用，always [never]表示已禁用
cat /sys/kernel/mm/transparent_hugepage/defrag
輸出結果：[always] madvise never

#所有主機上執行關閉透明大頁
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#再次執行
cat /sys/kernel/mm/transparent_hugepage/defrag
輸出結果：always madvise [never]

12.避免伺服器使用swap功能而影響伺服器效能

#所有主機上執行
#Linux核心引數vm.swappiness，值的範圍為0~100，表示系統什麼時候開始進行實體記憶體與虛擬記憶體的交換
cat /proc/sys/vm/swappiness
輸出結果：30

#臨時修改swappiness（重啟後恢復）
echo 0 > /proc/sys/vm/swappiness

#永久修改swappiness
echo "vm.swappiness=0" >> /etc/sysctl.conf

13.建立/usr/share/java目錄，將mysql-jdbc包放過去（所有節點）

#建立目錄
mkdir -p /usr/share/java

將mysql驅動包發到該目錄下，同時mysql-connector-java-5.1.34.jar 一定要命名為mysql-connector-java.jar。

三.搭建ClouderaManager

1.下載地址

#Cloudera Manager下載地址
https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/
#CDH 下載地址
https://archive.cloudera.com/cdh6/6.3.2/parcels/

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-rhHCypsK-1610456506471)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110203128726.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-fhbiyNp3-1610456506472)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110203339733.png)]

#建立 /opt/cloudera-manager 目錄；存放 cdh的安裝檔案
mkdir /opt/cloudera-manager

2.安裝 cloudera-manager-daemons（每個節點）

cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-ECcAd2Gw-1610456506473)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110210002292.png)]

安裝完之後，會在 /opt 下生成目錄cloudera目錄：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-e00FFSBy-1610456506474)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110210139619.png)]

3.安裝 cloudera-manager-agent（所有節點）

（1）安裝cloudera-manager-agent

cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-KJX5YGaD-1610456506475)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110211917023.png)]

執行報錯，缺少依賴。用yum安裝缺少的依賴：

yum install -y bind-utils
yum install -y psmisc
yum install -y libxslt
yum install -y cyrus-sasl-plain
yum install -y cyrus-sasl-gssapi
yum install -y fuse
yum install -y portmap
yum install -y fuse-libs
yum install -y httpd
yum install -y mod_ssl
yum install -y openssl-devel

如果依然報錯則強制安裝：

#--nodeps：安裝時不檢查依賴關係 --force：強制安裝
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-T1AI4GVS-1610456506476)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110212735082.png)]

（2）檢查生成cloudera-scm-agent目錄

安裝完成 cloudera-manager-agent 後會生成 /etc/cloudera-scm-agent 目錄：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-aRjJ2ETA-1610456506476)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110213504070.png)]

（3）配置agent的server節點

vim /etc/cloudera-scm-agent/config.ini 

#server_host=localhost 改成server_host=cloudera-scm-server主機名

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-gP4nqywg-1610456506477)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110214135680.png)]

#/opt/jdk8 是java的安裝路徑
sudo JAVA_HOME=/opt/jdk8 /opt/cloudera/cm-agent/bin/certmanager setup --configure-services

4.安裝 cloudera-manager-server（hadoop01）

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-F1uECaGC-1610456506478)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110214742266.png)]

主節點安裝server，所有節點安裝agent。安裝完成檢查配置目錄是否存在：

server：/etc/cloudera-scm-server

agent：/etc/cloudera-scm-agent

檢視 /opt/cloudera 目錄：parcel-repo目錄是存放CDH6.3.2的路徑。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-exG43GYs-1610456506479)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110215839670.png)]

5.server節點上配置 MySQL 資料庫

建立資料庫：

-- grant all on 庫名.表名 to '使用者名稱'@'IP地址' identified by '密碼';
set global validate_password_policy=LOW;
set global validate_password_length=3;

create database cmf default character set = 'utf8';
grant all on cmf.* to 'cmf'@'%' identified by '123456';

create database amon default character set = 'utf8';
grant all on amon.* to 'amon'@'%' identified by '123456'; 
 
create database hue default character set = 'utf8';
grant all on hue.* to 'hue'@'%' identified by '123456';
 
create database oozie default character set = 'utf8';
grant all on oozie.* to 'oozie'@'%' identified by '123456';

配置資料庫連線：

cd /etc/cloudera-scm-server

#備份資料庫配置
cp db.properties db.properties.bak

#修改資料庫配置
vim /etc/cloudera-scm-server/db.properties

#指定資料庫型別為mysql
com.cloudera.cmf.db.type=mysql
#指定資料庫的地址以及埠號
com.cloudera.cmf.db.host=dbserver
#指定CM資料庫的名稱
com.cloudera.cmf.db.name=cmf
#指定CM使用者的使用者名稱
com.cloudera.cmf.db.user=cmf
#指定CM使用者的密碼
com.cloudera.cmf.db.password=123456
#指定資料庫使用為外部資料庫
com.cloudera.cmf.db.setupType=EXTERNAL

6.啟動cloudera

啟動 server：

#啟動 server
systemctl status cloudera-scm-server
#檢視狀態
systemctl status cloudera-scm-server
#檢視日誌
tail -F /var/log/cloudera-scm-server/cloudera-scm-server.log

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-KE2XRTix-1610456506480)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231050566.png)]

啟動 agent：

#啟動 agent
systemctl start cloudera-scm-agent
#檢視狀態
systemctl status cloudera-scm-agent

四.搭建ClouderaManager

1.登陸cdh安裝介面

瀏覽器訪問 http://hadoop01:7180，進入cdh登入介面，預設賬戶密碼 admin admin

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-lTvu0IY6-1610456506481)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231421461.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-8YGJynis-1610456506482)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231454749.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-fAKCdWDa-1610456506483)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110235829300.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-3B0HUkAg-1610456506484)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231609766.png)]

2.群集安裝

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-XOsYv6sg-1610456506485)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231753734.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-mIj4M8xe-1610456506486)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110235958354.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-DjGrjSoa-1610456506487)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110235914875.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-zdjpCn1b-1610456506488)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210111000422053.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-5mownKpx-1610456506489)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210111002235106.png)]

[外鏈圖片轉存中…(img-lTvu0IY6-1610456506481)]

[外鏈圖片轉存中…(img-8YGJynis-1610456506482)]

[外鏈圖片轉存中…(img-fAKCdWDa-1610456506483)]

[外鏈圖片轉存中…(img-3B0HUkAg-1610456506484)]

2.群集安裝

[外鏈圖片轉存中…(img-XOsYv6sg-1610456506485)]

[外鏈圖片轉存中…(img-mIj4M8xe-1610456506486)]

[外鏈圖片轉存中…(img-DjGrjSoa-1610456506487)]

[外鏈圖片轉存中…(img-zdjpCn1b-1610456506488)]

[外鏈圖片轉存中…(img-5mownKpx-1610456506489)]

CDH6.3.1搭建

CDH6.3.1搭建

一.搭建規劃

二.搭建準備

1.設定主機名

2.設定主機對映名（所有節點）

3.安裝JDK1.8（所有節點）

4.統一時間（所有節點）

5.關閉防火牆（所有節點）

6.配置hadoop使用者sudoer許可權（所有節點）

7.關閉Selinux（所有節點）

8.配置免密登陸（所有節點）

9.設定使用者最大能開啟檔案數目、程序數和記憶體（所有節點）

10.禁用IPV6（在root使用者下執行）

11.解決透明大頁面問題

12.避免伺服器使用swap功能而影響伺服器效能

13.建立/usr/share/java目錄，將mysql-jdbc包放過去（所有節點）

三.搭建ClouderaManager

1.下載地址

2.安裝 cloudera-manager-daemons（每個節點）

3.安裝 cloudera-manager-agent（所有節點）

（1）安裝cloudera-manager-agent

（2）檢查生成cloudera-scm-agent目錄

（3）配置agent的server節點

4.安裝 cloudera-manager-server（hadoop01）

5.server節點上配置 MySQL 資料庫

6.啟動cloudera

四.搭建ClouderaManager

1.登陸cdh安裝介面

2.群集安裝

2.群集安裝

相關推薦