dpdk的兩大特色igb_uio和共享記憶體，而igb_uio也是建立在共享記憶體的基礎上的。本文就dpdk記憶體相關的知識做一下梳理，加深一下對這方面知識的理解，並提供一些解決問題的手段。 1、dpdk共享記憶體採用的hugepage技術 hugepage的配置之前的文章已經講解過了，這兒需要了解 一下hugepage的基本原理。 因為dpdk涉及到虛擬地址到實體地址的轉換：   physaddr= ((page & 0x7fffffffffffffULL) * page_size) + ((unsigned long)virtaddr % page_size); dpdk涉及到的共享記憶體有： a、 hugapage用於資料轉發，程序之間共享資料結構等用途 b、物理網絡卡配置部分的貢獻記憶體，暫存器地址 2、hugepage
a）記憶體訪問時間取決於處理器的記憶體位置，cpu訪問本地記憶體的速度要快。 b) 檔案 -page - memory的對映關係，檔案對映的虛擬記憶體在mapping segment
3、dpdk hugepage初始化 1）需根據系統配置的hugepage，獲取page型別以及對應的page數量，並生成對應page檔案，並通過相應的資料結構記錄hugepage相關的資訊 eal_hugepage_info_init(); hugepage 資訊記錄到internal_config的 struct hugepage_info hugepage_info[MAX_HUGEPAGE_SIZES]; 2）有了hugepage資訊以後，後續就是記憶體對映，初始化記憶體，保證使用者維護和使用簡單。也就是dpdk的記憶體管理。 rte_eal_memory_init() master core初始化記憶體 slave core通過獲取記憶體配置資訊在初始化自己的記憶體 a、建立每個page檔案的資料結構 主要用於記錄，每個檔案對映後的虛擬記憶體地址，實體記憶體地址等資訊 struct hugepage_file { void *orig_va; /**< virtual addr of first mmap() */ void *final_va; /**< virtual addr of 2nd mmap() */ uint64_t physaddr; /**< physical addr */ size_t size; /**< the page size */ int socket_id; /**< NUMA socket ID */ int file_id; /**< the '%d' in HUGEFILE_FMT */ int memseg_id; /**< the memory segment to which page belongs */ #ifdef RTE_EAL_SINGLE_FILE_SEGMENTS int repeated; /**< number of times the page size is repeated */ #endif char filepath[MAX_HUGEPAGE_PATH]; /**< path to backing file on filesystem */ }; b、進行hugepage地址對映 10個page 每個page2M aa）第一次對映。對映10*2M的虛擬記憶體空間vir_addr，保證每個page的虛擬地址是連續的，虛擬地址首地址可以指定 static void* hugepage_addr = (void*)(0x7b0000000000); static void* hugepage_info_addr = (void*)(0x7a0000000000); static void* rte_config_addr = (void*)(0x7a1000000000); 虛擬地址為什麼要連續？ bb）把每個hugepage依次對映到，vir_addr範圍內 rtemap_0 : vir_addr rtemap_1 : vir_addr + page_size …… rtemap_n : vir_addr + n*page_size c、實體地址到虛擬地址轉換 把每一個page的虛擬地址對映到對應的實體地址。 physaddr = ((page & 0x7fffffffffffffULL) * page_size)+ ((unsigned long)virtaddr % page_size); 從/proc/self/pagemap獲取page 思考一下如何進行的TLB轉換，特別是細節，對於Linux記憶體管理會進一步加深理解？ d、把每個hugepage按實體地址大小進行排序， e、重新對映hugepage 保證虛擬地址儘可能連續 保證實體地址儘可能連續 上圖描述了 第一次對映，虛擬地址連續，實體地址肯能不連續 實體地址排序，排序後page順序發生變化，虛擬地址不再連續 第二次對映，實體地址連續，虛擬地址也連續 f、unmap第一次對映的虛擬地址 g、對映共享記憶體。儲存記錄記憶體資訊的資料結構，此後對記憶體的訪問都要基於這個資料結構。如果這部分記憶體被破壞，對大頁記憶體的訪問將會出現異常。 h、實體記憶體資訊記錄到memseg中。
4、heap的構造以及如何使用 構造heap的基本原因，把屬於對應socket的memseg插入對應的list。
待續。。。。。。