Java中的OutOfMemoryError的各種情況及解決和JVM記憶體結構

在JVM中記憶體一共有3種：Heap（堆記憶體），Non-Heap（非堆記憶體）^[3]和Native（本地記憶體）。^[1]

堆記憶體是執行時分配所有類例項和陣列的一塊記憶體區域。非堆記憶體包含方法區和JVM內部處理或優化所需的記憶體，存放有類結構（如執行時常量池、欄位及方法結構，以及方法和建構函式程式碼）。本地記憶體是由作業系統管理的虛擬記憶體。當一個應用記憶體不足時就會丟擲java.lang.OutOfMemoryError異常。^[1]

OutOfMemoryError在開發過程中是司空見慣的，遇到這個錯誤，新手程式設計師都知道從兩個方面入手來解決：一是排查程式是否有BUG導致記憶體洩漏；二是調整JVM啟動引數增大記憶體。OutOfMemoryError有好幾種情況，每次遇到這個錯誤時，觀察OutOfMemoryError後面的提示資訊，就可以發現不同之處，如：

java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: unable to create new native thread
java.lang.OutOfMemoryError: PermGen space
java.lang.OutOfMemoryError: Requested array size exceeds VM limit

雖然都叫OutOfMemoryError，但每種錯誤背後的成因是不一樣的，解決方法也要視情況而定，不能一概而論。只有深入瞭解JVM的記憶體結構並仔細分析錯誤資訊，才有可能做到對症下藥，手到病除。

JVM規範

JVM規範對Java執行時的記憶體劃定了幾塊區域（詳見這裡），有：JVM棧（Java Virtual Machine Stacks）、堆（Heap）、方法區（Method Area）、常量池（Runtime Constant Pool）、本地方法棧（Native Method Stacks），但對各塊區域的記憶體佈局和地址空間卻沒有明確規定，而留給各JVM廠商發揮的空間。

HotSpot JVM

Sun自家的HotSpot JVM實現對堆記憶體結構有相對明確的說明。按照HotSpot JVM的實現，堆記憶體分為3個代：Young Generation、Old(Tenured) Generation、Permanent Generation。眾所周知，GC（垃圾收集）就是發生在堆記憶體這三個代上面的。Young用於分配新的Java物件，其又被分為三個部分：Eden Space和兩塊Survivor Space(稱為From和To)，Old用於存放在GC過程中從Young Gen中存活下來的物件，Permanent用於存放JVM載入的class等元資料。詳情參見HotSpot記憶體管理白皮書。堆的佈局圖示如下：

根據這些資訊，我們可以推匯出JVM規範的記憶體分割槽和HotSpot實現中記憶體區域的對應關係：JVM規範的Heap對應到Young和Old Generation，方法區和常量池對應到Permanent Generation。對於Stack記憶體，HotSpot實現也沒有詳細說明，但HotSpot白皮書上提到，Java執行緒棧是用宿主作業系統的棧和執行緒模型來表示的，Java方法和native方法共享相同的棧。因此，可以認為在HotSpot中，JVM棧和本地方法棧是一回事。

作業系統

由於一個JVM程序首先是一個作業系統程序，因此會遵循作業系統程序地址空間的規定。32位系統的地址空間為4G，即最多表示4GB的虛擬記憶體。在Linux系統中，高地址的1G空間（即0xC0000000~0xFFFFFFFF）被系統核心佔用，低地址的3G空間（即0×00000000~0xBFFFFFFF）為使用者程式所使用（顯然JVM程序執行在這3G的地址空間中）。這3G的地址空間從低到高又分為多個段；Text段用於存放程式二進位制程式碼；Data段用於存放編譯時已初始化的靜態變數；BSS段用於存放未初始化的靜態變數；Heap即堆，用於動態記憶體分配的資料結構，C語言的malloc函式申請的記憶體即是從此處分配的，Java的new例項化的物件也是自此分配。不同於前面三個段，Heap空間是可變的，其上界由低地址向高地址增長。記憶體對映區，載入的動態連結庫位於這個區中；Stack即棧空間，執行緒的執行即是佔用棧記憶體，棧空間也是可變的，但它是通過下界從高地址向低地址移動而增長的。詳情參見這裡。圖示如下：

JVM本身是由native code所編寫的，所以JVM程序同樣具有Text/Data/BSS/Heap/MemoryMapping/Stack等記憶體段。而Java語言的Heap應當是建立在作業系統程序的Heap之上的，Java語言的Stack應該也是建立作業系統程序Stack之上的。 綜合HotSpot的記憶體區域和作業系統程序的地址空間，可以大致得到下列圖示：

Java執行緒的記憶體是位於JVM或作業系統的棧（Stack）空間中，不同於物件——是位於堆（Heap）中。這是很多新手程式設計師容易誤解的地方。注意，“Java執行緒的記憶體”這個用詞不是指Java.lang.Thread物件的記憶體，java.lang.Thread物件本身是在Heap中分配的，當呼叫start()方法之後，JVM會建立一個執行單元，最終會建立一個作業系統的native thread來執行，而這個執行單元或native thread是使用Stack記憶體空間的。

經過上述鋪墊，可以得知，JVM程序的記憶體大致分為Heap空間和Stack空間兩部分。Heap又分為Young、Old、Permanent三個代。Stack分為Java方法棧和native方法棧（不做區分），在Stack記憶體區中，可以建立多個執行緒棧，每個執行緒棧佔據Stack區中一小部分記憶體，執行緒棧是一個LIFO資料結構，每呼叫一個方法，會在棧頂建立一個Frame，方法返回時，相應的Frame會從棧頂移除（通過移動棧頂指標）。在這每一部分記憶體中，都有可能會出現溢位錯誤。回到開頭的OutOfMemoryError，下面逐個說明錯誤原因和解決方法（每個OutOfMemoryError都有可能是程式BUG導致，因此解決方法不包括對BUG的排查）。

OutOfMemoryError

1.java.lang.OutOfMemoryError: Java heap space
原因：Heap記憶體溢位，意味著Young和Old generation的記憶體不夠。
解決：調整java啟動引數 -Xms -Xmx 來增加Heap記憶體。

堆記憶體溢位時，首先判斷當前最大記憶體是多少（引數：-Xmx 或 -XX:MaxHeapSize=），可以通過命令 jinfo -flag MaxHeapSize 檢視執行中的JVM的配置，如果該值已經較大則應通過 mat 之類的工具查詢問題，或 jmap -histo查詢哪個或哪些類佔用了比較多的記憶體。引數-verbose:gc(-XX:+PrintGC) -XX:+PrintGCDetails可以列印GC相關的一些資料。如果問題比較難排查也可以通過引數-XX:+HeapDumpOnOutOfMemoryError在OOM之前Dump記憶體資料再進行分析。此問題也可以通過histodiff列印多次記憶體histogram之前的差值，有助於檢視哪些類過多被例項化，如果過多被例項化的類被定位到後可以通過btrace再跟蹤。
下面程式碼可再現該異常：
List<String> list = new ArrayList<String>();
while(true) list.add(new String("Consume more memory!"));

2.java.lang.OutOfMemoryError: unable to create new native thread
原因：Stack空間不足以建立額外的執行緒，要麼是建立的執行緒過多，要麼是Stack空間確實小了。
解決：由於JVM沒有提供引數設定總的stack空間大小，但可以設定單個執行緒棧的大小；而系統的使用者空間一共是3G，除了Text/Data/BSS/MemoryMapping幾個段之外，Heap和Stack空間的總量有限，是此消彼長的。因此遇到這個錯誤，可以通過兩個途徑解決：1.通過-Xss啟動引數減少單個執行緒棧大小，這樣便能開更多執行緒（當然不能太小，太小會出現StackOverflowError）；2.通過-Xms -Xmx 兩引數減少Heap大小，將記憶體讓給Stack（前提是保證Heap空間夠用）。

在JVM中每啟動一個執行緒都會分配一塊本地記憶體，用於存放執行緒的呼叫棧，該空間僅線上程結束時釋放。當沒有足夠本地記憶體建立執行緒時就會出現該錯誤。通過以下程式碼可以很容易再現該問題： [2]
 while(true){
    new Thread(new Runnable(){
        public void run() {
            try {
                Thread.sleep(60*60*1000);
            } catch(InterruptedException e) { }        
        }    
    }).start();
}

3.java.lang.OutOfMemoryError: PermGen space
原因：Permanent Generation空間不足，不能載入額外的類。
解決：調整-XX:PermSize= -XX:MaxPermSize= 兩個引數來增大PermGen記憶體。一般情況下，這兩個引數不要手動設定，只要設定-Xmx足夠大即可，JVM會自行選擇合適的PermGen大小。

PermGen space即永久代，是非堆記憶體的一個區域。主要存放的資料是類結構及呼叫了intern()的字串。
List<Class<?>> classes = new ArrayList<Class<?>>();
while(true){
    MyClassLoader cl = new MyClassLoader();
    try{
        classes.add(cl.loadClass("Dummy"));
    }catch (ClassNotFoundException e) {
        e.printStackTrace();
    }
}
類載入的日誌可以通過btrace跟蹤類的載入情況：
import com.sun.btrace.annotations.*;
import static com.sun.btrace.BTraceUtils.*;

@BTrace
public class ClassLoaderDefine {

    @SuppressWarnings("rawtypes")
    @OnMethod(clazz = "+java.lang.ClassLoader", method = "defineClass", location = @Location(Kind.RETURN))
    public static void onClassLoaderDefine(@Return Class cl) {
        println("=== java.lang.ClassLoader#defineClass ===");
        println(Strings.strcat("Loaded class: ", Reflective.name(cl)));
        jstack(10);
    }
}
除了btrace也可以開啟日誌載入的引數來檢視載入了哪些類，可以把引數-XX:+TraceClassLoading開啟，或使用引數-verbose:class（-XX:+TraceClassLoading, -XX:+TraceClassUnloading），在日誌輸出中即可看到哪些類被載入到Java虛擬機器中。該引數也可以通過jflag的命令java -jar jflagall.jar -flag +ClassVerbose動態開啟-verbose:class。

下面是一個使用了String.intern()的例子：

List<String> list = new ArrayList<String>();
int i=0;
while(true) list.add(("Consume more memory!"+(i++)).intern());

你可以通過以下btrace指令碼查詢該類呼叫：

import com.sun.btrace.annotations.*;
import static com.sun.btrace.BTraceUtils.*;

@BTrace
public class StringInternTrace {

  @OnMethod(clazz = "/.*/", method = "/.*/",
       location = @Location(value = Kind.CALL, clazz = "java.lang.String", method = "intern"))
  public static void m(@ProbeClassName String pcm, @ProbeMethodName String probeMethod,
            @TargetInstance Object instance) {
    println(strcat(pcm, strcat("#", probeMethod)));
    println(strcat(">>>> ", str(instance)));
  }
}

4.java.lang.OutOfMemoryError: Requested array size exceeds VM limit
原因：這個錯誤比較少見（試著new一個長度1億的陣列看看），同樣是由於Heap空間不足。如果需要new一個如此之大的陣列，程式邏輯多半是不合理的。
解決：修改程式邏輯吧。或者也可以通過-Xmx來增大堆記憶體。

詳細資訊表示應用申請的陣列大小已經超過堆大小。如應用程式申請512M大小的陣列，但堆大小隻有256M，這裡會丟擲OutOfMemoryError，因為此時無法突破虛擬機器限制分配新的陣列。在大多少情況下是堆記憶體分配的過小，或是應用嘗試分配一個超大的陣列，如應用使用的演算法計算了錯誤的大小。

5.在GC花費了大量時間，卻僅回收了少量記憶體時，也會報出OutOfMemoryError，我只遇到過一兩次。當使用-XX:+UseParallelGC或-XX:+UseConcMarkSweepGC收集器時，在上述情況下會報錯，在HotSpot GC Turning文件上有說明：
The parallel(concurrent) collector will throw an OutOfMemoryError if too much time is being spent in garbage collection: if more than 98% of the total time is spent in garbage collection and less than 2% of the heap is recovered, an OutOfMemoryError will be thrown.
對這個問題，一是需要進行GC turning，二是需要優化程式邏輯。

6.java.lang.StackOverflowError
原因：這也記憶體溢位錯誤的一種，即執行緒棧的溢位，要麼是方法呼叫層次過多（比如存在無限遞迴呼叫），要麼是執行緒棧太小。
解決：優化程式設計，減少方法呼叫層次；調整-Xss引數增加執行緒棧大小。

7.java.lang.OutOfMemoryError: request <size> bytes for <reason>. Out of swap space?

本地記憶體分配失敗。一個應用的Java Native Interface(JNI)程式碼、本地庫及Java虛擬機器都從本地堆分配記憶體分配空間。當從本地堆分配記憶體失敗時丟擲OutOfMemoryError異常。例如：當實體記憶體及交換分割槽都用完後，再次嘗試從本地分配記憶體時也會丟擲OufOfMemoryError異常。

8.java.lang.OutOfMemoryError: <reason> <stack trace> (Native method)

如果異常的詳細資訊是<reason> <stack trace> (Native method)且一個執行緒堆疊被列印，同時最頂端的楨是本地方法，該異常表明本地方法遇到了一個記憶體分配問題。與前面一種異常相比，他們的差異是記憶體分配失敗是JNI或本地方法發現或是Java虛擬機發現。

9.java.lang.OutOfMemoryError: Direct buffer memory

　　即從Direct Memory分配記憶體失敗，Direct Buffer物件不是分配在堆上，是在Direct Memory分配，且不被GC直接管理的空間（但Direct Buffer的Java物件是歸GC管理的，只要GC回收了它的Java物件，作業系統才會釋放Direct Buffer所申請的空間）。通過-XX:MaxDirectMemorySize=可以設定Direct記憶體的大小。

List<ByteBuffer> list = new ArrayList<ByteBuffer>();
while(true) list.add(ByteBuffer.allocateDirect(10000000));

10.java.lang.OutOfMemoryError: GC overhead limit exceeded

JDK6新增錯誤型別。當GC為釋放很小空間佔用大量時間時丟擲。一般是因為堆太小。導致異常的原因：沒有足夠的記憶體。可以通過引數-XX:-UseGCOverheadLimit關閉這個特性。

11.java.lang.OutOfMemoryError: request <size> bytes for <reason>. Out of swap space?

本地記憶體分配失敗。一個應用的Java Native Interface(JNI)程式碼、本地庫及Java虛擬機器都從本地堆分配記憶體分配空間。當從本地堆分配記憶體失敗時丟擲OutOfMemoryError異常。例如：當實體記憶體及交換分割槽都用完後，再次嘗試從本地分配記憶體時也會丟擲OufOfMemoryError異常。

12.java.lang.OutOfMemoryError: <reason> <stack trace> (Native method)

如果異常的詳細資訊是<reason> <stack trace> (Native method)且一個執行緒堆疊被列印，同時最頂端的楨是本地方法，該異常表明本地方法遇到了一個記憶體分配問題。與前面一種異常相比，他們的差異是記憶體分配失敗是JNI或本地方法發現或是Java虛擬機發現。