OEMCC 13.2 集群版本安裝部署

阿新 • • 發佈：2018-10-20

manager .cn ant pools ble 監控系統 cnblogs lac 準備工作

之前測試部署過OEMCC 13.2單機，具體可參考之前隨筆：

OEMCC 13.2 安裝部署

當時環境：兩臺主機，系統RHEL 6.5，分別部署OMS和OMR：
OMS，也就是OEMCC的服務端 IP：192.168.1.88 內存：12G+ 硬盤：100G+
OMR，也就是OEM底層的資料庫 IP：192.168.1.89 內存：8G+ 硬盤：100G+

相當於OMS和OMR都是單機版，然後有些客戶對監控系統的要求也很高，這就需要集群來提升高可用性。
對於OMR來說，可以搭建對應版本的RAC來解決單點故障，那麽對於OMS而言，又如何構建具備高可用性的集群呢？
最近遇到某客戶有這樣的高可用需求，本文總結記錄一下OEMCC集群版本的完整安裝過程。

1.需求描述
2.環境規劃
3.OMR集群安裝
3.1 環境準備
3.2 GI安裝
3.3 創建ASM磁盤組、ACFS集群文件系統
3.4 DB軟件安裝
3.5 DBCA使用模版建庫
4.OMS集群安裝
4.1 環境準備
4.2 安裝主節點
4.3 添加OMS節點
4.4 測試OMS高可用性
5.SLB配置

1.需求描述

客戶要求部署OEMCC13.2集群，包括OMR的集群和OMS的集群，其中OMR的集群就是對應Oracle 12.1.0.2 RAC；OMS的集群要求Active-Active模式，並配合SLB實現負載均衡。

2.環境規劃

使用兩臺虛擬機來實現部署。配置信息如下：
技術分享圖片

需要提前下載如下安裝介質：

--oemcc13.2安裝介質
em13200p1_linux64.bin
em13200p1_linux64-2.zip
em13200p1_linux64-3.zip
em13200p1_linux64-4.zip
em13200p1_linux64-5.zip
em13200p1_linux64-6.zip
em13200p1_linux64-7.zip
--oracle 12.1.0.2 RAC 安裝介質：
p21419221_121020_Linux-x86-64_1of10.zip
p21419221_121020_Linux-x86-64_2of10.zip
p21419221_121020_Linux-x86-64_5of10.zip
p21419221_121020_Linux-x86-64_6of10.zip
--dbca針對oemcc13.2的建庫模版：
12.1.0.2.0_Database_Template_for_EM13_2_0_0_0_Linux_x64.zip

3.OMR集群安裝

OMR集群通過Oracle RAC來實現：OEMCC 13.2提供的模版，要求資料庫（OMR）版本為12.1.0.2。

3.1 環境準備

1) 配置yum源安裝依賴rpm包：

yum install binutils compat-libcap1 compat-libstdc++-33 e2fsprogs e2fsprogs-libs glibc glibc-devel ksh libaio-devel libaio libgcc libstdc++ libstdc++-devel libxcb libX11 libXau libXi libXtst make net-tools nfs-utils smartmontools sysstat

2) 各節點關閉防火墻、SELinux：

--各節點關閉防火墻:
service iptables stop
chkconfig iptables off

--各節點關閉SELinux:
getenforce
修改/etc/selinux/config SELINUX= disabled
--臨時關閉SELinux
setenforce 0

3) 配置 /etc/hosts文件：

#public ip
10.1.43.211 oemapp1
10.1.43.212 oemapp2
#virtual ip
10.1.43.208 oemapp1-vip
10.1.43.209 oemapp2-vip
#scan ip
10.1.43.210 oemapp-scan

#private ip
172.16.43.211 oemapp1-priv
172.16.43.212 oemapp2-priv

4) 創建用戶、組；

--創建group & user：
groupadd -g 54321 oinstall
groupadd -g 54322 dba
groupadd -g 54323 oper
groupadd -g 54324 backupdba
groupadd -g 54325 dgdba
groupadd -g 54326 kmdba  
groupadd -g 54327 asmdba  
groupadd -g 54328 asmoper  
groupadd -g 54329 asmadmin  
groupadd -g 54330 racdba  
  
useradd -u 54321 -g oinstall -G dba,asmdba,backupdba,dgdba,kmdba,racdba,oper oracle  
useradd -u 54322 -g oinstall -G asmadmin,asmdba,asmoper,dba grid  

--然後給oracle、grid設置密碼：
passwd oracle 
passwd grid

5) 各節點創建安裝目錄(root用戶)：

mkdir -p /app/12.1.0.2/grid
mkdir -p /app/grid
mkdir -p /app/oracle
chown -R grid:oinstall /app
chown oracle:oinstall /app/oracle
chmod -R 775 /app

6) 共享LUN規則配置：

vi /etc/udev/rules.d/99-oracle-asmdevices.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c29ad39372db383c7903d31788d0", NAME="asm-data1", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c298c085f4e57c1f9fcd7b3d1dbf", NAME="asm-data2", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c290b495ab0b6c1b57536f4b3cf8", NAME="asm-ocr1", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c29e7743dca47419aca041b88221", NAME="asm-ocr2", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c29608a9ddb8b3168936d01a4f7b", NAME="asm-ocr3", OWNER="grid", GROUP="asmadmin", MODE="0660"

重載規則後確認共享LUN名稱和權限屬組：

[root@oemapp1 media]# udevadm control --reload-rules 
[root@oemapp1 media]# udevadm trigger
[root@oemapp1 media]# ls -l /dev/asm*
brw-rw----. 1 grid asmadmin 8, 16 Oct  9 12:27 /dev/asm-data1
brw-rw----. 1 grid asmadmin 8, 32 Oct  9 12:27 /dev/asm-data2
brw-rw----. 1 grid asmadmin 8, 48 Oct  9 12:27 /dev/asm-ocr1
brw-rw----. 1 grid asmadmin 8, 64 Oct  9 12:27 /dev/asm-ocr2
brw-rw----. 1 grid asmadmin 8, 80 Oct  9 12:27 /dev/asm-ocr3

7) 內核參數修改：

vi /etc/sysctl.conf
# vi /etc/sysctl.conf  增加如下內容：
fs.file-max = 6815744  
kernel.sem = 250 32000 100 128  
kernel.shmmni = 4096  
kernel.shmall = 1073741824  
kernel.shmmax = 6597069766656
kernel.panic_on_oops = 1  
net.core.rmem_default = 262144  
net.core.rmem_max = 4194304  
net.core.wmem_default = 262144  
net.core.wmem_max = 1048576  
net.ipv4.conf.eth1.rp_filter = 2
net.ipv4.conf.eth0.rp_filter = 1  
fs.aio-max-nr = 1048576  
net.ipv4.ip_local_port_range = 9000 65500

修改生效：

# /sbin/sysctl –p

8) 用戶shell的限制：

vi /etc/security/limits.conf
#在/etc/security/limits.conf 增加如下內容：
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240

9) 插入式認證模塊配置：

vi /etc/pam.d/login
--加載 pam_limits.so 模塊
 使用 root 用戶修改以下文件/etc/pam.d/login,增加如下內容：
session required pam_limits.so

說明：limits.conf 文件實際是 Linux PAM（插入式認證模塊，Pluggable Authentication Modules）中 pam_limits.so 的配置文件，而且只針對於單個會話。

10) 各節點設置用戶的環境變量：

--第1個節點grid用戶：
export ORACLE_SID=+ASM1;
export ORACLE_BASE=/app/grid
export ORACLE_HOME=/app/12.1.0.2/grid; 
export PATH=$ORACLE_HOME/bin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; 
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib 

--第2個節點grid用戶：
export ORACLE_SID=+ASM2;
export ORACLE_BASE=/app/grid
export ORACLE_HOME=/app/12.1.0.2/grid; 
export PATH=$ORACLE_HOME/bin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; 
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;

--第1個節點oracle用戶：
export ORACLE_SID=omr1; 
export ORACLE_BASE=/app/oracle;
export ORACLE_HOME=/app/oracle/product/12.1.0.2/db_1;
export ORACLE_HOSTNAME=;
export PATH=$ORACLE_HOME/bin:$PATH; 
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; 
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; 

--第2個節點oracle用戶：
export ORACLE_SID=omr2; 
export ORACLE_BASE=/app/oracle;
export ORACLE_HOME=/app/oracle/product/12.1.0.2/db_1;
export ORACLE_HOSTNAME=;
export PATH=$ORACLE_HOME/bin:$PATH; 
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; 
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;

3.2 GI安裝

解壓安裝介質：

unzip p21419221_121020_Linux-x86-64_5of10.zip
unzip p21419221_121020_Linux-x86-64_6of10.zip

配置DISPLAY變量，調用圖形界面安裝GI：

[grid@oemapp1 grid]$ export DISPLAY=10.1.52.76:0.0
[grid@oemapp1 grid]$ ./runInstaller

技術分享圖片

3.3 創建ASM磁盤組、ACFS集群文件系統

配置DISPLAY變量，調用圖形界面創建ASM磁盤組、ACFS集群文件系統：

[grid@oemapp1 grid]$ export DISPLAY=10.1.52.76:0.0
[grid@oemapp1 grid]$ asmca

創建ASM磁盤組：
技術分享圖片

創建ACFS集群文件系統：
技術分享圖片

3.4 DB軟件安裝

解壓安裝介質：

unzip p21419221_121020_Linux-x86-64_1of10.zip
unzip p21419221_121020_Linux-x86-64_2of10.zip

配置DISPLAY變量，調用圖形界面安裝DB軟件：

[oracle@oemapp1 database]$ export DISPLAY=10.1.52.76:0.0
[oracle@oemapp1 database]$ ./runInstaller

安裝db軟件：
技術分享圖片

3.5 DBCA使用模版建庫

解壓模版文件到模版目錄下，之後dbca就可以從這些模版中選擇使用：

[oracle@oemapp1 media]$ unzip 12.1.0.2.0_Database_Template_for_EM13_2_0_0_0_Linux_x64.zip -d /app/oracle/product/12.1.0.2/db_1/assistants/dbca/templates

DBCA建庫步驟：
註意：數據庫字符集強烈建議選擇AL32UTF8，在後面配置OMS的時候會有對應提示。
技術分享圖片

4.OMS集群安裝

本次OMS的集群要求Active-Active模式，並配合SLB實現負載均衡。

4.1 環境準備

以下環境準備工作是對OMS的兩個節點同步操作：
oracle用戶環境變量添加：

#OMS
export OMS_HOME=$ORACLE_BASE/oms_local/middleware
export AGENT_HOME=$ORACLE_BASE/oms_local/agent/agent_13.2.0.0.0

創建目錄：

su - oracle
mkdir -p /app/oracle/oms_local/agent
mkdir -p /app/oracle/oms_local/middleware

對/etc/hosts 修訂，使符合oemcc對主機名稱的要求（選做）：

#public ip
10.1.43.211 oemapp1 oemapp1.oracle.com
10.1.43.212 oemapp2 oemapp2.oracle.com

4.2 安裝主節點

開始安裝：

su - oracle
export DISPLAY=10.1.52.76:0.0
./em13200p1_linux64.bin

安裝步驟：
技術分享圖片

4.3 添加OMS節點

本節使用OEMCC來添加OMS節點，需要先添加agent，然後添加OMS節點：

說明：
1./app/oracle/OMS是共享文件系統；
2./app/oracle/oms_local是各節點本地的文件系統；
3.OMR數據庫的processes參數需要從默認300修改為600.

1) 添加agent
技術分享圖片

2) 添加OMS節點
選擇Enterprise menu -> Provisioning and Patching -> Procedure Library.
找到Add Oracle Management Service，點擊Launch。
註意：OMS的相關端口，每個OMS節點盡可能保持一致，避免增加後續配置維護的復雜性。
技術分享圖片

4.4 測試OMS高可用性

分別使用節點1和節點2的IP地址均可以正常訪問到OEMCC網頁界面：
技術分享圖片

且任意關掉某一節點，另外存活節點訪問不受影響。
附：操作oms啟動／停止／查看狀態的命令：

--查看oms狀態
$OMS_HOME/bin/emctl status oms
$OMS_HOME/bin/emctl status oms –details
--停止oms
$OMS_HOME/bin/emctl stop oms
$OMS_HOME/bin/emctl stop oms –all
--啟動oms
$OMS_HOME/bin/emctl start oms

5.SLB配置

負載均衡使用的產品是radware，這部分需要負載均衡工程師進行配置。下面是根據Oracle官方文檔結合本次需求整理出的配置要求，供參考：
技術分享圖片
其他具體配置項，例如Monitors、Pools、Required Virtual Servers等都按此為基準結合官方文檔進行規劃設計即可，不再贅述。

在/etc/hosts 添加負載均衡地址名稱解析：

10.1.44.207 myslb.oracle.com

SLB配置後，OMS同步需要配置。

配置OMS：

$OMS_HOME/bin/emctl secure oms -host myslb.oracle.com -secure_port 4903 -slb_port 4903 -slb_console_port 443 -slb_bip_https_port 5443 -slb_jvmd_https_port 7301 -lock_console -lock_upload

配置agent：

$AGENT_HOME/bin/emctl secure agent –emdWalletSrcUrl https://myslb.oracle.com:4903/em

查看oms狀態：

[oracle@oemapp1 backup]$ $OMS_HOME/bin/emctl status oms -details
Oracle Enterprise Manager Cloud Control 13c Release 2  
Copyright (c) 1996, 2016 Oracle Corporation.  All rights reserved.
Enter Enterprise Manager Root (SYSMAN) Password : 
Console Server Host        : oemapp1.oracle.com
HTTP Console Port          : 7788
HTTPS Console Port         : 7802
HTTP Upload Port           : 4889
HTTPS Upload Port          : 4903
EM Instance Home           : /app/oracle/oms_local/gc_inst/em/EMGC_OMS1
OMS Log Directory Location : /app/oracle/oms_local/gc_inst/em/EMGC_OMS1/sysman/log
SLB or virtual hostname: myslb.oracle.com
HTTPS SLB Upload Port : 4903
HTTPS SLB Console Port : 443
HTTPS SLB JVMD Port : 7301
Agent Upload is locked.
OMS Console is locked.
Active CA ID: 1
Console URL: https://myslb.oracle.com:443/em
Upload URL: https://myslb.oracle.com:4903/empbs/upload

WLS Domain Information
Domain Name            : GCDomain
Admin Server Host      : oemapp1.oracle.com
Admin Server HTTPS Port: 7102
Admin Server is RUNNING

Oracle Management Server Information
Managed Server Instance Name: EMGC_OMS1
Oracle Management Server Instance Host: oemapp1.oracle.com
WebTier is Up
Oracle Management Server is Up
JVMD Engine is Up

BI Publisher Server Information
BI Publisher Managed Server Name: BIP
BI Publisher Server is Up

BI Publisher HTTP Managed Server Port   : 9701
BI Publisher HTTPS Managed Server Port  : 9803
BI Publisher HTTP OHS Port              : 9788
BI Publisher HTTPS OHS Port             : 9851
BI Publisher HTTPS SLB Port             : 5443
BI Publisher is locked.
BI Publisher Server named ‘BIP‘ running at URL: https://myslb.oracle.com:5443/xmlpserver
BI Publisher Server Logs: /app/oracle/oms_local/gc_inst/user_projects/domains/GCDomain/servers/BIP/logs/
BI Publisher Log        : /app/oracle/oms_local/gc_inst/user_projects/domains/GCDomain/servers/BIP/logs/bipublisher/bipublisher.log

查看agent狀態：

[oracle@oemapp1 backup]$ $AGENT_HOME/bin/emctl status agent
Oracle Enterprise Manager Cloud Control 13c Release 2  
Copyright (c) 1996, 2016 Oracle Corporation.  All rights reserved.
---------------------------------------------------------------
Agent Version          : 13.2.0.0.0
OMS Version            : 13.2.0.0.0
Protocol Version       : 12.1.0.1.0
Agent Home             : /app/oracle/oms_local/agent/agent_inst
Agent Log Directory    : /app/oracle/oms_local/agent/agent_inst/sysman/log
Agent Binaries         : /app/oracle/oms_local/agent/agent_13.2.0.0.0
Core JAR Location      : /app/oracle/oms_local/agent/agent_13.2.0.0.0/jlib
Agent Process ID       : 17263
Parent Process ID      : 17060
Agent URL              : https://oemapp1.oracle.com:3872/emd/main/
Local Agent URL in NAT : https://oemapp1.oracle.com:3872/emd/main/
Repository URL         : https://myslb.oracle.com:4903/empbs/upload
Started at             : 2018-10-12 15:49:58
Started by user        : oracle
Operating System       : Linux version 2.6.32-696.el6.x86_64 (amd64)
Number of Targets      : 34
Last Reload            : (none)
Last successful upload                       : 2018-10-12 15:50:53
Last attempted upload                        : 2018-10-12 15:50:53
Total Megabytes of XML files uploaded so far : 0.17
Number of XML files pending upload           : 19
Size of XML files pending upload(MB)         : 0.07
Available disk space on upload filesystem    : 63.80%
Collection Status                            : Collections enabled
Heartbeat Status                             : Ok
Last attempted heartbeat to OMS              : 2018-10-12 15:50:33
Last successful heartbeat to OMS             : 2018-10-12 15:50:33
Next scheduled heartbeat to OMS              : 2018-10-12 15:51:35

---------------------------------------------------------------
Agent is Running and Ready

最終測試，通過負載均衡地址10.1.44.207可以直接訪問OEMCC，進行正常操作：
技術分享圖片
至此，OEMCC13.2集群安裝已完成。

OEMCC 13.2 集群版本安裝部署

manager .cn ant pools ble 監控系統 cnblogs lac 準備工作之前測試部署過OEMCC 13.2單機，具體可參考之前隨筆： OEMCC 13.2 安裝部署當時環境：兩臺主機，系統RHEL 6.5，分別部署OMS和OMR： OMS，也就

OEMCC 13.2 集群版本安裝部署

1.需求描述

2.環境規劃

3.OMR集群安裝

3.1 環境準備

3.2 GI安裝

3.3 創建ASM磁盤組、ACFS集群文件系統

3.4 DB軟件安裝

3.5 DBCA使用模版建庫

4.OMS集群安裝

4.1 環境準備

4.2 安裝主節點

4.3 添加OMS節點

4.4 測試OMS高可用性

5.SLB配置

OEMCC 13.2 集群版本安裝部署

redis集群的安裝部署

MySQL學習筆記03MySQL集群的安裝部署

Kubernetes集群的安裝部署

OEMCC 13.2 叢集版本安裝部署

ELKB5.2.2集群環境部署及優化終極文檔

【docker】【redis】2.docker上設置redis集群---Redis Cluster部署、管理和測試【集群服務】

Proxmox5.2集群安裝Ceph

Hadoop2.5.2集群部署（完全分布式）

kubernetes1.13.1集群安裝包管理工具helm

k8s v1.13.4 集群部署

2.etcd集群的安裝（cfssl版）

zookeeper集群新手安裝指南

如何使用800li直播系統VMS集群版本EPG節目單錄制直播

docker swarm集群及其UI部署

Codis3.2集群HA高可用方案

一臉懵逼學習KafKa集群的安裝搭建--（一種高吞吐量的分布式發布訂閱消息系統）

【docker】kubernetes集群一鍵部署包

Ceph：ceph-dash集群監控工具部署

07： MMM集群概述、部署集群基礎環境、 MMM集群部署、總結和答疑

OEMCC 13.2 集群版本安裝部署

1.需求描述

2.環境規劃

3.OMR集群安裝

3.1 環境準備

3.2 GI安裝

3.3 創建ASM磁盤組、ACFS集群文件系統

3.4 DB軟件安裝

3.5 DBCA使用模版建庫

4.OMS集群安裝

4.1 環境準備

4.2 安裝主節點

4.3 添加OMS節點

4.4 測試OMS高可用性

5.SLB配置

相關推薦