深入淺出Netty記憶體管理：PoolChunkList

阿新 • • 發佈：2019-01-14

前面兩篇分別分析了PoolChunk和PoolSubpage的實現，本文主要分析管理PoolChunk生命週期的PoolChunkList。

PoolChunkList

PoolChunkList負責管理多個chunk的生命週期，在此基礎上對記憶體分配進行進一步的優化。

final class PoolChunkList<T> implements PoolChunkListMetric {

    private final PoolChunkList<T> nextList;
    private final int minUsage;
    private final int maxUsage;

    private PoolChunk<T> head;
    private PoolChunkList<T> prevList;
    ...
}

12345678910

finalclassPoolChunkList<T>implementsPoolChunkListMetric{privatefinalPoolChunkList<T>nextList;privatefinalintminUsage;privatefinalintmaxUsage;privatePoolChunk<T>head;privatePoolChunkList<T>prevList;...}

從程式碼實現可以看出，每個PoolChunkList例項維護了一個PoolChunk連結串列，自身也形成一個連結串列，為何要這麼實現？

2184951-c5a5bf6c03d86ce0

隨著chunk中page的不斷分配和釋放，會導致很多碎片記憶體段，大大增加了之後分配一段連續記憶體的失敗率，針對這種情況，可以把記憶體使用率較大的chunk放到PoolChunkList連結串列更後面，具體實現如下：

boolean allocate(PooledByteBuf<T> buf, int reqCapacity, int normCapacity) {
    if (head == null) {
        return false;
    }

    for (PoolChunk<T> cur = head;;) {
        long handle = cur.allocate(normCapacity);
        if (handle < 0) {
            cur = cur.next;
            if (cur == null) {
                return false;
            }
        } else {
            cur.initBuf(buf, handle, reqCapacity);
            if (cur.usage() >= maxUsage) {   // (1)
                remove(cur);
                nextList.add(cur);
            }
            return true;
        }
    }
}

12345678910111213141516171819202122

booleanallocate(PooledByteBuf<T>buf,intreqCapacity,intnormCapacity){if(head==null){returnfalse;}for(PoolChunk<T>cur=head;;){longhandle=cur.allocate(normCapacity);if(handle<0){cur=cur.next;if(cur==null){returnfalse;}}else{cur.initBuf(buf,handle,reqCapacity);if(cur.usage()>=maxUsage){// (1)remove(cur);nextList.add(cur);}returntrue;}}}

假設poolChunkList中已經存在多個chunk。當分配完記憶體後，如果當前chunk的使用量超過maxUsage，則把該chunk從當前連結串列中刪除，新增到下一個連結串列中。

但是，隨便chunk中記憶體的釋放，其記憶體使用率也會隨著下降，當下降到minUsage時，該chunk會移動到前一個列表中，實現如下：

boolean free(PoolChunk<T> chunk, long handle) {
    chunk.free(handle);
    if (chunk.usage() < minUsage) {
        remove(chunk);
        if (prevList == null) {
            assert chunk.usage() == 0;
            return false;
        } else {
            prevList.add(chunk);
            return true;
        }
    }
    return true;
}

1234567891011121314

booleanfree(PoolChunk<T>chunk,longhandle){chunk.free(handle);if(chunk.usage()<minUsage){remove(chunk);if(prevList==null){assertchunk.usage()==0;returnfalse;}else{prevList.add(chunk);returntrue;}}returntrue;}

從poolChunkList的實現可以看出，每個chunkList的都有一個上下限：minUsage和maxUsage，兩個相鄰的chunkList，前一個的maxUsage和後一個的minUsage必須有一段交叉值進行緩衝，否則會出現某個chunk的usage處於臨界值，而導致不停的在兩個chunk間移動。

所以chunk的生命週期不會固定在某個chunkList中，隨著記憶體的分配和釋放，根據當前的記憶體使用率，在chunkList連結串列中前後移動。

深入淺出Netty記憶體管理：PoolChunkList

PoolChunkList

深入淺出Netty記憶體管理：PoolChunkList

深入淺出Netty記憶體管理：PoolSubpage

深入淺出Netty記憶體管理：PoolChunk

深入淺出Netty記憶體管理：PoolArena

資料庫記憶體管理：tcmalloc與jemalloc

Sqlserver記憶體管理：限制最大佔用記憶體

Spark靜態記憶體管理：StaticMemoryManager

iOS效能優化之記憶體管理：Analyze、Leaks、Allocations的使用和案例程式碼

Linux記憶體管理：HighMemory

iOS記憶體管理：記憶體洩露除錯的常用技巧

JVM記憶體管理：記憶體區域和記憶體洩漏

Linux記憶體管理：CMA

C語言動態記憶體管理：malloc、realloc、calloc以及free函式

作業系統的學習（2）——實體記憶體管理：連續記憶體分配

7.netty記憶體管理-ByteBuf

談談Netty記憶體管理

第四節：FreeRTOS 記憶體管理

QEMU深入淺出: guest實體記憶體管理

現代作業系統：第三章記憶體管理

深入淺出 Java 中 JVM 記憶體管理

深入淺出Netty記憶體管理：PoolChunkList

PoolChunkList

相關推薦