2. 程式人生 > 實用技巧 >解決伺服器程序退出問題(metaspace溢位)實戰

解決伺服器程序退出問題(metaspace溢位)實戰

阿新 • • 發佈：2020-10-13

現象

策劃反應伺服器進不去,遠端看了一下程序消失了(crash)，有時候也會出現能登入，但是無法執行操作(程序還在),無法被正常shutdown，程序根目錄下出現了java_pid16298.hprof檔案，一看到就是記憶體溢位了，覺得奇怪，應該不會是堆記憶體溢位，因為人數不多，初步懷疑是永久區溢位(Java8#Metaspace)，下面果然得到驗證，因為啟動引數加了-XX:+HeapDumpOnOutOfMemoryError，還出現了hs_err_pid.log，即JVM致命錯誤日誌。

日誌查詢(vim/grep/less/more)

  1. vim std.log
    esc /OutOfMemoryError ?OutOfMemoryError
    n/N 下一個

  2. less std.log | grep OutOfMemoryError
    Caused by: java.lang.OutOfMemoryError: Metaspace

  3. grep OutOfMemory std.log -A 50 -B 50 | less
    /OutOfMemoryError n 下一個 q退出

  4. less std.log
    出現冒號 /OutOfMemoryError 搜尋 q退出 也可以?OutOfMemoryError

  5. more std.log
    /OutOfMemoryError 搜尋 q退出 只能/

    Caused by: java.lang.OutOfMemoryError: Metaspace at java.lang.ClassLoader.defineClass1(Native Method) ~[na:1.8.0_40] at java.lang.ClassLoader.defineClass(ClassLoader.java:760) ~[na:1.8.0_40] at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) ~[na:1.8.0_40] at java.net.URLClassLoader.defineClass(URLClassLoader.java:467) ~[na:1.8.0_40] at java.net.URLClassLoader.access$100(URLClassLoader.java:73) ~[na:1.8.0_40] at java.net.URLClassLoader$1.run(URLClassLoader.java:368) ~[na:1.8.0_40] at java.net.URLClassLoader$1.run(URLClassLoader.java:362) ~[na:1.8.0_40] at java.security.AccessController.doPrivileged(Native Method) ~[na:1.8.0_40] at java.net.URLClassLoader.findClass(URLClassLoader.java:361) ~[na:1.8.0_40] at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[na:1.8.0_40] at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[na:1.8.0_40]

從日誌輸出上看是: Metaspace記憶體溢位,我這邊啟動引數設定的大小是48M
-XX:MaxMetaspaceSize=48m

從致命日誌的輸出看:也是jvm在Metaspace::allocate時出現了致命錯誤Metaspace used 47519K, capacity 48950K, committed 49152K, reserved 1093632K…也能看到類似日誌 發現確實Metaspace幾乎已被佔滿。

why?

Metaspace概念理解：JVM原始碼分析之Metaspace解密
java7和java8中部分原來在permgen的資料已經被轉移到堆，從JDK7開始永久代的移除工作，貯存在永久代的一部分資料已經轉移到了Java Heap或者是Native Heap。但永久代仍然存在於JDK7，並沒有完全的移除：符號引用(Symbols)轉移到了native heap;字面量(interned strings)轉移到了java heap;類的靜態變數(class statics)轉移到了java heap。

In JDK 8, classes metadata is now stored in the native heap and this space is called Metaspace.

哪些佔用了空間(個人分析 主要是生成的類)

fastjson#asm(通過debug除錯)

  • deserializer

ASMDeserializerFactory#createJavaBeanDeserializer，當呼叫如JSON#parseObject(String text, Class clazz),都會生成一個和clazz對應的如FastjsonASMDeserializer_53_xx類,用來進行反序列化，目前用到的地方包括配置檔案,資料表,玩家相關資料等。

  • serializer

ASMSerializerFactory#createJavaBeanSerializer，當呼叫如JSON.toJSONString(Object object),也會生成一個和object#clazz對應的如ASMSerializer_1_xx類，用來write/序列化。

二者加起來大約200個左右。

lambda表示式內部類，所有使用lambda表示式的地方都會生成一個如xxLambda$1的類 大約150個左右，其他如protobuf生成的類,大約200多個，其他查看了一下的內部類，也未發現有特殊的如生成的類，搜尋包含數字的類，因為通常動態生成的類似都有數字等，發現了大量的sun.reflect.GeneratedMethodAccessor344…大概有350多個,同時發現了有同樣數目的sun.reflect.DelegatingClassLoader(是隻有一個類，只不過有對應數目的例項)…，同樣sun.reflect.GeneratedConstructorAccessor…分析-這個是是反射的優化,It can use a JNI accessor, or a Java bytecode accessor
JVM剛開始預設使用JNI的方式呼叫，當同一個類呼叫次數達到一定值後改為Java bytecode呼叫(會有一個新的classloader和一個clazz)

網上有很多內容是關於因為這個的記憶體溢位問題,可以自行搜尋查閱
目前業務邏輯中頻繁呼叫反射的地方：

  • handler邏輯方法的反射執行
  • protobuf的反序列化
  • 其他三方庫的反射等

工具使用

jvisualvm#載入hprof#可安裝外掛

 生成的日期: Mon Sep 25 14:30:30 CST 2017
    檔案: D:\xx\landon\task\2017.9\server_err\java_pid16298.hprof
    檔案大小: 56.1 MB

    位元組總數: 47,508,830
    類總數: 7,743
    例項總數: 568,577
    類載入器: 380
    垃圾回收根節點: 2,703
    等待結束的暫掛物件數: 0

    在出現 OutOfMemoryError 異常錯誤時進行了堆轉儲
    導致 OutOfMemoryError 異常錯誤的執行緒: queue-executor-handler-8
複製程式碼

從兩個個hprof看,均是差不多載入了7700多個類的時候丟擲了記憶體溢位錯誤，OQL控制檯#右下方#儲存的查詢#PermGen分析#類載入器型別，發現了一個有意思的:發現了大量的xx$Lambda$143這樣的類，Lambda表示式是要生成內部類的，從輸出看,Lambda表示式生成的內部類編號是從1開始，然後++，目前看到的有151個Lambda內部類，可直接在類資訊下面搜尋匹配。

使用mat

open heap dump
Size: 22.6 MB Classes: 7.5k Objects: 578k Class Loader: 357

JavaBasics#class loader explorer

Class Name                                           | Defined Classes | No. of Instances
------------------------------------------------------------------------------------------
sun.misc.Launcher$ExtClassLoader @ 0x800230b0        |           4,312 |           93,289
<system class loader>                                |           2,617 |          484,122
com.alibaba.fastjson.util.ASMClassLoader @ 0x805fd848|             129 |              129
com.alibaba.fastjson.util.ASMClassLoader @ 0x805e2858|              73 |               73
------------------------------------------------------------------------------------------

Class Name                                               | Shallow Heap | Retained Heap
----------------------------------------------------------------------------------------
class sun.reflect.GeneratedMethodAccessor344 @ 0x80593e18|            0 |           568
class sun.reflect.GeneratedMethodAccessor343 @ 0x80593ee0|            0 |           568
class sun.reflect.GeneratedMethodAccessor342 @ 0x80593fa8|            0 |           568
class sun.reflect.GeneratedMethodAccessor341 @ 0x80594070|            0 |           568
class sun.reflect.GeneratedMethodAccessor340 @ 0x80594138|            0 |           568
class sun.reflect.GeneratedMethodAccessor339 @ 0x80594200|            0 |           568
class sun.reflect.GeneratedMethodAccessor338 @ 0x805942c8|            0 |           568
class sun.reflect.GeneratedMethodAccessor337 @ 0x80594390|            0 |           568
class sun.reflect.GeneratedMethodAccessor336 @ 0x80594458|            0 |           568
...
----------------------------------------------------------------------------------------

Class Name                                                     | Defined Classes | No. of Instances
----------------------------------------------------------------------------------------------------
sun.misc.Launcher$ExtClassLoader @ 0x800230b0                  |           4,312 |           93,289
<system class loader>                                          |           2,617 |          484,122
com.alibaba.fastjson.util.ASMClassLoader @ 0x805fd848          |             129 |              129
com.alibaba.fastjson.util.ASMClassLoader @ 0x805e2858          |              73 |               73
javax.management.remote.rmi.NoCallStackClassLoader @ 0x806fc4f8|               1 |                0
javax.management.remote.rmi.NoCallStackClassLoader @ 0x806fc5d0|               1 |                0
sun.reflect.DelegatingClassLoader @ 0x80593db8                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80593e80                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80593f48                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594010                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x805940d8                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x805941a0                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594268                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594330                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x805943f8                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x805944c0                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594588                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594650                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x805947c8                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594890                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594958                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594a20                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594ae8                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594bb0                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594c78                 |               1 |                1
sun.reflect.DelegatingClassLoader @ 0x80594d40                 |               1 |                1
----------------------------------------------------------------------------------------------------
複製程式碼

主要的幾個classloader#sun.misc.Launch$ExtClassLoader#defined class 4312

com.alibaba.fastjson.util.ASMClassLoader(Deserializer_)#129
com.alibaba.fastjson.parser.deserializer.FastjsonASMDeserializer_53_xxConfig,這裡需要排查為什麼所有的Config物件都被生成了反序列化的內部類?還有其他如xx_RedisConfig等(瞭解fastjson#asm原理即可)

com.alibaba.fastjson.serializer.ASMSerializer_70_xxConfig
這裡看了程式碼發現有一個xxMonsterConfig,這個是在序列化到redis的時候沒有加SerializerFeature.IgnoreNonFieldGetter,序列化mongo的player已經統一加上了這個feature.

這裡解釋一下為什麼這裡是ExtClassLoader載入了業務中的大部分類，因為我這邊啟動是用-Djava.ext.dirs=lib,即ExtClassLoader載入的，而非AppClassLoader，二者都可以使用OQL，OQL Syntax，SELECT DISTINCT OBJECTS classof(s) FROM “com.xx.*” s
查詢物件所屬的類在com.xx包下大約有600多個。

總結和解決辦法

從上面分析看,確實應該是metaspace分配的空間過少 48M 準備調整為128M 再實際跑跑測試

  • Lambda表示式會生成內部類
  • 反射呼叫頻繁JVM也會生成相應的類

總結

因為程序crash的代價很大，雖然可以設定一個較大的metaspace,但是如果洩露了，程序直接crash，影響會非常大
所以還是建議不設定這個引數，jvm自己調節。如果真出現了洩露，那麼記憶體會一直瘋長的
而此時我們的運維監控系統是可以監聽到的，可以即時報警，然後走正常的shutdown(shutdown之前可以jmap hprof)，然後排查問題.
ps:OutOfMemory crash的時候會執行shutdownhook的,不過雖然如此但是程序突然crash,會影響到玩家體驗，可能會造成流失.

看完三件事❤️

如果你覺得這篇內容對你還蠻有幫助，我想邀請你幫我三個小忙：

  1. 點贊，轉發，有你們的 『點贊和評論』，才是我創造的動力。

  2. 關注公眾號 『 java爛豬皮 』，不定期分享原創知識。

  3. 同時可以期待後續文章ing

相關推薦

解決伺服器程序退出問題(metaspace溢位)實戰

現象 策劃反應伺服器進不去,遠端看了一下程序消失了(crash)，有時候也會出現能登入，但是無法執行操作(程序還在),無法被正常shutdown，程序根目錄下出現了java_pid16298.hprof檔案，一看到就是記憶體溢位了，覺得奇

解決pyqt5異常退出無提示資訊的問題

問題：在pyqt介面執行中會異常退出，但是無出錯程式碼追蹤資訊。 解決方法：

關於nodejs解決伺服器跨域的方法

首先，什麼是跨域？瀏覽器從一個域名的網頁去請求另一個域名的資源時，域名、埠、協議任一不同，都是跨域；那麼，如何解決跨域呢？1、採用jsonp方法解決跨域，2、在伺服器端利用nodejs設定標頭檔案header來解決跨域

subprocess popen 子程序退出的問題

最近在專案中遇到一個需求，前端發來一個命令，這個命令是去執行傳遞過來的一個指令碼（shell 或者python），並返回指令碼的標準輸出和標準出錯，如果執行超過設定時間還沒結束就超時，然後終止指令碼的執行。實現

PHP 疑難雜症：解決守護程序時 Redis 假死

內容簡介：背景：公司業務有一個常駐後臺執行的守護程序。在這個守護程序當中使用了 Redis List 結構儲存業務資料進行佇列消費。結果執行過程中，有時候半個月，有時候幾個月就會突然不再消費佇列裡面的資料。當時懷

Mac clion 遠端除錯 linux 伺服器程序

環境要求 linux 伺服器 安裝 gdbserver mac 機裝 clion 基本步驟： 1. mac 機配置程式碼檔案自動同步（方便開發，如果不需要可以跳過。除錯只需保證兩邊程式碼檔案一致即可）

【已解決】CentOS7解決yum程序被Packagekit佔用的問題

技術標籤：CentOS-7centos7yumpackagekit 在更新yum源的時候報了個yum程序被佔用的提示：

手把手教你如何解決伺服器挖礦病毒

今天一早開啟伺服器發現卡的不行，於是使用top命令查看了一番，果然不出所料，伺服器被挖礦了，下面帶來完整的解決辦法！

批量匯出分檔案壓縮匯出，解決匯出大資料記憶體溢位問題

技術標籤：php 效果： 匯出大資料太多實在是個煩人的事情，要不半天匯出，或者還報個錯啥的實在是難受。寫此部落格，奇妙解決了導資料匯出記憶體溢位時間太長問題。廢話不多說，直接上程式碼。

詳解PHP解決守護程序Redis假死

一、一個簡單的守護程序示例 <?php $redis = new \\Redis(); $redis->connect(\'localhost\',6379);

伺服器硬體及RAID配置實戰

伺服器硬體及RAID配置實戰 一、RAID磁碟陣列概述 二、RAID磁碟陣列 1）RAID 0（條帶化儲存）

Linux伺服器高併發調優實戰

眾所周知在預設引數情況下Linux對高併發支援並不好，主要受限於單程序最大開啟檔案數限制、核心TCP引數方面和IO事件分配機制等。下面就從幾方面來調整使Linux系統能夠支援高併發環境。

解決伺服器SID引起虛擬機器不能加入AD域使用者，無法遠端登入的問題

最近在公司搭建AD域控制器，發現無法在計算機真正新增域使用者，也就是新增的使用者雖然可以在本地登入，但是無法遠端登入，嘗試多種方法都無法解決，而最終原因居然是虛擬機器導致的伺服器的SID衝突。本文記錄下該問

伺服器程序異常的原因分析(第二篇)(r8筆記第16天)

最近看到一個報警，是顯示某一個oracle的備庫程序數達到了2000多個。 ZABBIX-監控系統:

crontab設定導致的伺服器程序異常問題 (r10筆記第4天）

前幾天的時候，有個同事問我一個問題，大體的意思是突然收到報警，伺服器的程序數翻了好幾倍，其實那個伺服器也沒有任何操作。所以想讓我幫忙看看。

Linux 伺服器程序避免 OOM 的方法

問題描述Linux 核心有個機制叫 OOM killer(Out-Of-Memory killer)，該機制會監控那些佔用記憶體過大，尤其是瞬間很快消耗大量記憶體的程序，為了防止記憶體耗盡而核心會把該程序殺掉。典型的情況是：某天一臺機器突然

程序退出了，listen的埠沒有釋放

場景：程序A建立程序B，程序A listen埠P。程序A退出，程序B仍在，此時程序A listen的埠P沒有被釋放。

shell查詢程序殺死程序並等待程序退出

查詢並殺死程序 stop_service() { # 查詢Java程序ID local pid=$(ps -ef | grep java | grep \"${process_keyword}\" | grep -v grep | awk \'{print $2}\')

Linux伺服器Java程序消失問題解決

這篇文章主要介紹了Linux伺服器Java程序消失問題解決,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

C:\php-7.4.5-nts-Win32-vc15-x64\php-cgi.exe - FastCGI 程序意外退出 問題解決 PHP Warning: &#39;vcruntime140.dll&#39; 14.0 is not compatible with this PHP build linked with 14.16 in Unk

win10兩臺電腦，一臺裝了vs2019iis正常，另一臺沒裝iisphp環境出現些故障，深查原因，出現如下警告，現程式碼部分