記一次問題排查伺服器記憶體問題

背景

工作中突然發現伺服器的記憶體使用率特別高，這是不正常的，帶著疑問，想一探究竟，下面是排查的過程。

第一步

首先使用top命令，free -h命令檢視記憶體使用情況和cpu使用的情況，發現有個應用記憶體使用率異常的高，如下圖，根據記憶體佔比，找到對應行的pid，使用下面的命令根據pid找到自己的應用

ps-ef|grep #pid#

第二步

既然已經拿到了我們可以dump堆的檔案出來進行分析了，這個命令執行，JVM會將整個heap的資訊dump寫入到一個檔案，heap如果比較大的話，就會導致這個過程比較耗時，並且執行的過程中為了保證dump的資訊是可靠的，所以會暫停應用，謹慎使用

jmap -dump:format=b,file="/opt/snapshot/"$PID".hprof" $PID  

第三步

使用java的記憶體分析工具memory analyzer（下載地址：https://www.eclipse.org/mat/）開始分析dump的檔案，下圖便是分析工具出的報告，通過報告可以看出，Google的快取貌似有些問題，該物件記憶體已經佔用了505M了，佔虛擬機器heap總量的76.88%，帶著這些現象我們進行下一步

第四步

既然已經看到了具體的類有問題，那麼下面開始定位程式碼。通過分析類中使用快取的地方，發現快取設定的時間過長，並且存的物件很大，長時間不回收，造成伺服器記憶體壓力很大，通過改變快取策略（減少快取時間，減少存入的物件數量，設定上限），問題便迎刃而解。

總結

伺服器線上應用難免會出現各種問題，只要細心排查，耐心找原因，一步一步總會把問題的根源揪出來，通過這次的排查，發現快取的使用方式不合適，這對自己以後正確合理使用快取敲響警鐘，能用分散式快取就儘量不要採用類似guava，map這種本地快取，當然真的有場景特別需要本地快取，只要能忍受得了記憶體的消耗也可以。對於引數比較少且變化很少的介面建議使用cdn快取，能夠得到提高服務的響應速度。