問題現象

cgi服務無法處理請求，cpu偶爾飆高。

問題排查記錄

檢視呼叫棧

首先jstack 檢視程序的當前呼叫棧，發現很多執行緒處於Blocked狀態。

jstack pid > stack.txt

檢視gc情況

cpu偶爾飆升，懷疑是gc導致 stop the world，使用jstat查詢gc的頻率

jstat -gcutil pid 1000 100

可以發現，系統確實在頻繁發生full gc
各列資料含義：

S0C、S1C、S0U、S1U：Survivor 0/1區容量（Capacity）和使用量（Used）
EC、EU：Eden區容量和使用量
OC、OU：年老代容量和使用量
PC、PU：永久代容量和使用量
YGC、YGT：年輕代GC次數和GC耗時
FGC、FGCT：Full
 
 GC次數和Full GC耗時
GCT：GC總耗時

檢視jvm記憶體佔用情況

那麼來看看為什麼會頻繁發生full gc呢，看看jvm的堆記憶體佔用情況

jmap -heap pid

可以看到老年代已經被佔滿。

檢視哪些大物件佔用老年代

jmap -histo:live pid > mem.txt
 num     #instances         #bytes  class name
----------------------------------------------
   1:         62287      235160976  [B
   2
 
:        801838      190622336  [C
   3:        709992       57319760  [Ljava.util.HashMap$Entry;
   4:       1411289       33870936  java.util.HashMap$Entry
   5:        701725       28069000  java.util.HashMap
   6:        820113       19682712  java.lang.String
   7:        671624       16118976  java.util.concurrent
 
.ConcurrentHashMap$HashEntry
   8:        839857       13437712  java.lang.Long
   9:        131073       12582968  [Lkilim.State;
  10:        499133       11979192  com.tencent.jungle.now.service.LogicService$LiveCodeInfo
  11:        151632        9508968  [Ljava.lang.Object;
  12:         74775        9299256  <constMethodKlass>

可以大概看到這些物件的大小，可以看到位元組陣列是230M，字元陣列是190M，HashMap型別物件是57M。
我們可以注意到一個LogicService 和業務物件相關，可以進一步猜測了。

dump記憶體

jmap -dump:live,format=b,file=dump.hprof pid

可能掛載不上程序，使用root許可權即可。

jprofile分析記憶體

使用jprofile載入上面dump下來的記憶體檔案，可以清晰的看到下面的資料：
可以很明顯的看到LogicService裡面有一個LRU的cache以及DataService下面有一個快取，佔用了較大的記憶體空間，長期佔有不釋放，就會導致記憶體不夠用，從而頻繁gc了。

所以這裡有兩種解決方案：
* 程式碼裡限制快取的大小，比如快取的個數或者過期時間等；
* 調整java程序啟動的堆記憶體大小。

tomcat調整引數

在setenv.sh中新增引數即可。這裡設定Xmx為4096.
在測試環境中設定ok，但是到現網啟動會報錯：

java.net.connectexception connection refused 

調整大小為3072就ok。 猜測現網伺服器上的java版本是32位的，允許的最大堆大小應該是小於4G的。
檢視java的版本資訊 && file java檢視java的位數資訊：

[root@Tencent-SNG /data/home/ewanzhao]# java -version
java version "1.6.0_21"
Java(TM) SE Runtime Environment (build 1.6.0_21-b06)
Java HotSpot(TM) Server VM (build 17.0-b16, mixed mode)

可以使用命令檢視java允許設定的最大堆的大小：

[[email protected] /data/home/ewanzhao]# java -Xmx3687M -version 
Error occurred during initialization of VM
Could not reserve enough space for object heap
Could not create the Java virtual machine.

參考文章