一.問題描述
rac庫用sqlplus啟動節點二正常，但crsctl顯示db資源為offline,而用srvctl啟動例項時，db資源顯示online;
如下：
sqlplus啟動db正常，而用crsctl stat res -t檢視資源狀態，出現:
ora.st.db
1 ONLINE ONLINE T50003 Open 
2 OFFLINE OFFLINE Instance Shutdown


當用srvctl start  instance -d st -i st2啟例項2時，則是： 
ora.st.db
1 ONLINE ONLINE T50003 open 
2 ONLINE ONLINE T50004 open
oraccle版本：RAC 11.2.0.4 for solaris 11.2
二.原因分析
上述問題，當用sqlplus啟動後，若再用一次srvctl來啟動例項，db資源恢復顯示正常，由於未來環境是生產環境，這樣多操作一次感覺很怪，不知是否有什麼隱患和風險，必需要解決掉這 
個問題，否則，就只能重新搭建和再恢復資料，由於專案時間很緊，時間和精力上不希望再重新搭建rac和恢復資料，也會影響到環境交付。
該rac搭建過程也比較曲折：
因為在安裝grid psu2補丁時，出現opatch報錯,通過分析，節點2的psu2沒有打成功，而小補丁在節點一安裝時沒有加local選項，而將節點一安裝的補丁及相應用配置寫到了節點二上 
，致節點二執行opatch操作時報錯，為了保證節點二不留有隱患和風險，有對節點2進行delete node後，再add node操作。
上面報錯問題懷疑與節點2的刪除和重新新增有關。如是對節點一關閉例項，然後再用sqlplus啟動，結果顯示節點1也存在與節點2同樣的問題，這樣就排除了節點2的問題與delete node和 
add node相關。
難道是資料庫st註冊到OCR中有問題嗎？從ocr中移除database，並重新註冊ocr後，問題依然存在。
如是檢查OS層面是否有異常，dmesg發現部分磁碟有報label錯誤，仔細檢查磁碟發現這些盤沒有在使用，是分給將來的本機ADG使用的，所以磁碟label報錯與些問題無關。 
T50004 cmlb: [ID 107833 kern.warning] WARNING: /scsi_vhci/

[email protected] (ssd24):
T50004 Corrupt label; wrong magic number
T50004 cmlb: [ID 107833 kern.warning] WARNING: /scsi_vhci/[email protected] (ssd24): 
因為不想重新搭rac，所以晚上回家後，繼續從MOS中查詢各種與db resorce offline相關的文件閱讀，11.2 RAC: In "crsctl stat res -t" State Details May Be Missing or Incorrect 
(文件 ID 1086563.1)和srvctl reports wrong instance status for disabled instances (文件 ID 1320970.1)這兩個文件中提到的case有點相似，但與這個問題還完全不一樣。如是將問 
題分析聚焦在srvctl啟庫和sqlplus啟庫的差別上。
在節點二上執行： crsctl stat res -p，檢視ocr中註冊的相關db資源狀態：
NAME=ora.st.db
TYPE=ora.database.type
ACL=owner:oraabc:rwx,pgrp:oinstall:r--,other::r--,group:dba:r-x,user:oragrid:r-x
ACTION_FAILURE_TEMPLATE=
ACTION_SCRIPT=
ACTIVE_PLACEMENT=1
AGENT_FILENAME=%CRS_HOME%/bin/oraagent%CRS_EXE_SUFFIX%
AUTO_START=restore
CARDINALITY=2
CHECK_INTERVAL=1
CHECK_TIMEOUT=30
CLUSTER_DATABASE=true
DATABASE_TYPE=RAC
DB_UNIQUE_NAME=st
DEFAULT_TEMPLATE=PROPERTY(RESOURCE_CLASS=database) PROPERTY(DB_UNIQUE_NAME= CONCAT(PARSE(%NAME%, ., 2), %USR_ORA_DOMAIN%, .)) ELEMENT(INSTANCE_NAME= 
%GEN_USR_ORA_INST_NAME%) ELEMENT(DATABASE_TYPE= %DATABASE_TYPE%)
DEGREE=1
DESCRIPTION=Oracle Database resource
----注意上面的NAME=ora.st.db，資料庫在OCR中是以db_unique_name的形式註冊的。
再進一步執行：
-bash-4.1$ srvctl config database -d st
Database unique name: st
Database name: 
Oracle home: /mapp/orapl/11.2.0
Oracle user: oraabc
Spfile: +MDG1/st/spfilest.ora
Domain: 
Start options: open
Stop options: immediate
Database role: PRIMARY
Management policy: AUTOMATIC
Server pools: st
Database instances: st1,st2
Disk Groups: MDG1,REDODG1,REDODG2
Mount point paths: 
Services: g_io,dgp,mdr,r_io
Type: RAC
Database is administrator managed
---發現註冊到ocr中的db_unique_name為st。
而在資料庫端的設定為nhst,如下：
SQL> show parameter db_unique_name
NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
db_unique_name string NHst
那麼產生問題的原因就找到了，就是db_unique_name只在資料庫層有更改為nhst，而ocr中沒有更新。而原來用srvctl去啟例項，db資源顯示正常，是因為srvctl會直接去呼叫sqlplus啟動例項。
三.解決
重新更改OCR中的db_unique_name為nhst,操作如下：
1.停庫和從ocr中移除庫
srvctl stop database -d st
srvctl remove database -d st
2.啟動庫，再更改db層的設定
startup
alter system set db_unique_name=NHst scope=spfile sid='*';
3) cluster級別新增database資源
srvctl add database -d nhst -n st -o /abcapp/orap/11.2.0
srvctl add instance -d nhst -i st1 -n T50003
srvctl add instance -d nhst -i st2 -n T50004
4) 修改ocr中db與asm磁碟組的依賴關係
srvctl modify database -d nhst -a "MDG1,REDODG1,REDODG2"
5)重新註冊service
srvctl add service -d nhst -s mgpl -r st1 -a st2 -P basic -e select -m basic
...................................
啟動 service
srvctl start service -d nhst -s mgpl
最後驗證如下：
用sqlplus關節點二，再啟動節點二，檢查正常，如下：
-bash-4.1$ crsctl stat res -t
--------------------------------------------------------------------------------
NAME TARGET STATE SERVER STATE_DETAILS 
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.LISTENER.lsnr
ONLINE ONLINE T50003 
ONLINE ONLINE T50004 
ora.MDPLMDG1.dg
ONLINE ONLINE T50003 
ONLINE ONLINE T50004 
ora.OCRVOTDG.dg
ONLINE ONLINE T50003 
ONLINE ONLINE T50004 
ora.REDODG1.dg
ONLINE ONLINE T50003 
ONLINE ONLINE T50004 
ora.REDODG2.dg
ONLINE ONLINE T50003 
ONLINE ONLINE T50004 
ora.asm
ONLINE ONLINE T50003 Started 
ONLINE ONLINE T50004 Started 
ora.gsd
OFFLINE OFFLINE T50003 
OFFLINE OFFLINE T50004 
ora.net1.network
ONLINE ONLINE T50003 
ONLINE ONLINE T50004 
ora.ons
ONLINE ONLINE T50003 
ONLINE ONLINE T50004 
ora.registry.acfs
ONLINE ONLINE T50003 
ONLINE ONLINE T50004 
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE T50003 
ora.cvu
1 ONLINE ONLINE T50004 
ora.T50003.vip
1 ONLINE ONLINE T50003 
ora.T50004.vip
1 ONLINE ONLINE T50004 
ora.nhst.db
1 ONLINE ONLINE T50003 Open 
2 ONLINE ONLINE T50004 Open 
ora.nhst.gplm_io.svc
1 ONLINE ONLINE T50003 
ora.nhst.mdgplm.svc
1 ONLINE ONLINE T50003 
ora.nhst.mdrdm.svc
1 ONLINE ONLINE T50003 
ora.nhst.rdm_io.svc
1 ONLINE ONLINE T50004 
ora.oc4j
1 ONLINE ONLINE T50004 
ora.scan1.vip
1 ONLINE ONLINE T50003 
-bash-4.1$
-bash-4.1$ srvctl status database -d nhst
Instance st1 is running on node T50003
Instance st2 is running on node T50004


-bash-4.1$ srvctl config database -d nhst
Database unique name: nhst
Database name: st
Oracle home: /abcapp/orap/11.2.0
Oracle user: oraab
Spfile: +ABCDG1/st/spfilest.ora
Domain: 
Start options: open
Stop options: immediate
Database role: PRIMARY
Management policy: AUTOMATIC
Server pools: st
.........................
-bash-4.1$ crsctl stat res -p
NAME=ora.nhst.db
TYPE=ora.database.type