Weblogic中介軟體例項不可連線。

1. 登入該weblogic的控制檯中檢查RobotServer狀態為unknown2. 點選servers->RobotServer->Monitoring，發現不可開啟。

3. 登入inyq0app04主機，執行ps -ef|grep RobotServer檢視程序是否存在。

[email protected]:/home/ap/xiaoi/user_projects/domains/xiaoi_robot/logs>ps-ef|grep -i robotserver

xiaoi     312823241  0 20:36 pts/2    00:00:00 grep -i robotserver

xiaoi    21854     1  010:42 ?        00:00:00 /bin/sh./bin/startManagedWebLogic.sh RobotServer t3://localhost:6002

xiaoi   21924 21855  8 10:42 ?        00:49:05 /usr/java6//bin/java -server-Xms1536m -Xmx1536m -XX:MaxPermSize=256m -verbose:gc-Xloggc:/home/ap/xiaoi/user_projects/domains/xiaoi_robot/logs/robotServergc.log-XX:+PrintGCTimeStamps -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError-XX:HeapDumpPath=/home/ap/xiaoi/user_projects/domains/xiaoi_robot/logs/robotServer.hprof-Djavax.xml.stream.XMLInputFactory=weblogic.xml.stax.XMLStreamInputFactory-DpropertiesEncrypted=true -Drobot.logDisabledUserIdPrefix=sms:branch_ -da-Dplatform.home=/home/mw/weblogic/bea/wlserver_10.3-Dwls.home=/home/mw/weblogic/bea/wlserver_10.3/server-Dweblogic.home=/home/mw/weblogic/bea/wlserver_10.3/server-Dweblogic.management.discover=false-Dweblogic.management.server=t3://localhost:6002 -Dwlw.iterativeDev=false-Dwlw.testConsole=false -Dwlw.logErrorsToConsole= -Dweblogic.ext.dirs=/home/mw/weblogic/bea/patch_wls1030/profiles/default/sysext_manifest_classpath:/home/mw/weblogic/bea/patch_cie660/profiles/default/sysext_manifest_classpath-Djava.security.egd=file:/dev/./urandom -Dweblogic.Name=RobotServer-Djava.security.policy=/home/mw/weblogic/bea/wlserver_10.3/server/lib/weblogic.policyweblogic.Server

4. 程序存在，檢視RobotServer的nohup日誌中是否有OutOfMemory

cd/home/ap/xiaoi/user_projects/domains/xiaoi_robot/logs

grep –i outofmemory robotServer.log

[email protected]:/home/ap/xiaoi>cd user_projects/domains/xiaoi_robot/logs

[email protected]:/home/ap/xiaoi/user_projects/domains/xiaoi_robot/logs>grep-i outofmemory robotServer.log

java.lang.OutOfMemoryError: Java heap space

Exception in thread "pool-3-thread-1"java.lang.OutOfMemoryError: Java heap space

Exception in thread "pool-3-thread-2"java.lang.OutOfMemoryError: Java heap spaceHeap

Caused by: java.lang.OutOfMemoryError: Java heap space

<2013-11-14 ÏÂÎç05ʱ30·Ö48Ãë CST><Error> <Server> <BEA-002608> <The ListenThread because ofan error: java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space.

java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space.

java.lang.OutOfMemoryError: Java heap space

<2013-11-14 ÏÂÎç05ʱ30·Ö48Ãë CST><Error> <Server> <BEA-002608> <The ListenThread because ofan error: java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError:Java heap space.

java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space.

java.lang.OutOfMemoryError: Java heap space

Exception in thread "[STANDBY]ExecuteThread: '1' for queue: 'weblogic.kernel.Default (self-tuning)'"java.lang.OutOfMemoryError: Java heap space

5. 發現日誌中有報“java.lang.OutOfMemoryError: Java heapspace”的錯誤，需要檢視RobotServer的GC日誌和heapdump日誌。

6. 在RobotServer服務啟動腳本里有配置生成RobotServer的GC日誌和在發生OOM的情況下生成heapdump日誌的引數（紅色標出具體引數）；

[email protected]:/home/ap/xiaoi/user_projects/domains/xiaoi_robot>virobotServer.sh

USER_MEM_ARGS="-Xms1536m -Xmx1536m-XX:MaxPermSize=256m -verbose:gc-Xloggc:/home/ap/xiaoi/user_projects/domains/xiaoi_robot/logs/robotServergc.log-XX:+PrintGCTimeStamps -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError-XX:HeapDumpPath=/home/ap/xiaoi/user_projects/domains/xiaoi_robot/logs/robotServer.hprof"

export USER_MEM_ARGS

nohup ./bin/startManagedWebLogic.shRobotServer t3://localhost:6002 >logs/robotServer.log &

7. 用GC日誌檢視工具ga.jar檢視GC日誌，在運維終端開啟cmd視窗，執行

Java –jar C:\Users\ccb\Desktop\ga.jar，開啟工具後開啟GC日誌，如下圖：

點選檢視圖形介面，如下圖，點選右邊工具欄usedTenured+New發現heap區域瞬時佔滿，使用1.2G，並且沒有回收，然後檢視heapdump日誌。

8. 使用MemoryAnalyzer.exe工具分析heapdump日誌

Mat開啟方式，開啟cmd視窗

進入：C:\TDDOWNLOAD\MemoryAnalyzer-1.2.1.20121105-win32.win32.x86_64\mat>
執行：MemoryAnalyzer.exe -vmargs -Xmx8g

開啟heapdump檔案，

綜合分析認為，本次故障原因與robot_log_faqrank_task有關。

附錄：jstat、jmap、kill -3命令使用方法：

如果要使用這三個命令，需要在應用使用者目錄下新增環境變數，具體方法如下：

vi .bash_profile

PATH=/usr/java6/bin:$PATH

export PATH

儲存後執行以下命令：

source .bash_profile

1.jstat命令

列印當前heap區域使用情況以及GC情況，示例如下：

說明主要看O列，當O列達到80%以上以及FGC列的次數很多時表示系統heap區域記憶體不足，server已經是不健康的。

執行jstat -gcutilPID 1000

jstat -gcutil 28231 1000

S0     S1     E     O      P     YGC    YGCT    FGC    FGCT    GCT  

100.00  0.00  64.54  17.39 99.78     58    2.829    0    0.000    2.829

100.00  0.00  64.54 17.39  99.78     58   2.829     0    0.000   2.829

100.00  0.00  64.70  17.39 99.78     58    2.829    0    0.000    2.829

100.00  0.00  64.87  17.39 99.78     58    2.829    0    0.000    2.829

100.00  0.00  65.41  17.39 99.78     58    2.829    0    0.000    2.829

100.00  0.00  65.41  17.39 99.78     58    2.829    0    0.000    2.829

100.00  0.00  65.41  17.39 99.78     58    2.829    0    0.000    2.829

100.00  0.00  65.41  17.39 99.78     58    2.829    0    0.000    2.829

100.00  0.00  65.98  17.39 99.78     58    2.829    0    0.000    2.829

100.00  0.00  65.98  17.39 99.78     58    2.829    0    0.000    2.829

100.00  0.00  65.98  17.39 99.78     58    2.829     0   0.000    2.829

100.00  0.00  65.98  17.39 99.78     58    2.829    0    0.000    2.829

2.jmap命令

執行jmap-dump:format=b,file=/home/weblogic/heapoom.dump <pid>

生成heap dump檔案，用MemoryAnalyzer進行分析。

這種方法生成的heapdump實時性不夠，因為當產生heapOOM之後，再利用jmap命令產生的heapdump已經不是當時產生heapOOM的heapdump了。我們必須要在啟動weblogic server程序的時候，加入命令引數，使得當產生heapOOM時，系統立刻產生heapdump，以便我們進行分析。

在domain目錄/bin/setDomainEnv.sh中新增以下內容：

USER_MEM_ARGS="-Xms256m -Xmx512m-XX:MaxPermSize=128m -verbose:gc -Xloggc:/tmp/wls_log/gc_ms.log -XX:+HeapDumpOnOutOfMemoryError"

export USER_MEM_ARGS

解釋如下：

-verbose:gc-Xloggc:/tmp/wls_log/gc_ms.log

生成GC的日誌（當啟動WLServer時候會自動生成）

-XX:+HeapDumpOnOutOfMemoryError

當系統出現heap OOM，會自動出現dump檔案，在自己domain目錄下，檔名是java_pid4848.hprof

3.kill -3命令

kill -3 PID

當應用頁面不能訪問時，使用kill-3 PID命令抓取當時程序中執行緒的使用情況，輸出儲存在server的nohup日誌中，

可以檢視執行緒的具體報錯資訊。

也可以使用jstack命令，jstackPID > /tmp/aaa.log，在log中檢視執行緒的具體報錯資訊。