《Linux核心設計與實現》讀書筆記(十五)- 程序地址空間(kernel 2.6.32.60)
程序地址空間也就是每個程序所使用的記憶體,核心對程序地址空間的管理,也就是對使用者態程式的記憶體管理。
主要內容:
- 地址空間(mm_struct)
- 虛擬記憶體區域(VMA)
- 地址空間和頁表
1. 地址空間(mm_struct)
地址空間就是每個程序所能訪問的記憶體地址範圍。
這個地址範圍不是真實的,是虛擬地址的範圍,有時甚至會超過實際實體記憶體的大小。
現代的作業系統中程序都是在保護模式下執行的,地址空間其實是作業系統給程序用的一段連續的虛擬記憶體空間。
地址空間最終會通過頁表對映到實體記憶體上,因為核心操作的是實體記憶體。
雖然地址空間的範圍很大,但是程序也不一定有許可權訪問全部的地址空間(一般都是隻能訪問地址空間中的一些地址區間),
程序能夠訪問的那些地址區間也稱為 記憶體區域。
程序如果訪問了有效記憶體區域以外的內容就會報 “段錯誤” 資訊。
記憶體區域中主要包含以下資訊:
- - 程式碼段(text section),即可執行檔案程式碼的記憶體對映
- - 資料段(data section),即可執行檔案的已初始化全域性變數的記憶體對映
- - bss段的零頁(頁面資訊全是0值),即未初始化全域性變數的記憶體對映
- - 程序使用者空間棧的零頁記憶體對映
- - 程序使用的C庫或者動態連結庫等共享庫的程式碼段,資料段和bss段的記憶體對映
- - 任何記憶體對映檔案
- - 任何共享記憶體段
- - 任何匿名記憶體對映,比如由 malloc() 分配的記憶體
注:bss是 block started by symbol 的縮寫。
linux中記憶體相關的概念稍微整理了一下,供參考:
英文 |
含義 |
SIZE | 程序對映的記憶體大小,這不是程序實際使用的記憶體大小 |
RSS(Resident set size) | 實際駐留在“記憶體”中的記憶體大小,不包含已經交換出去的記憶體 |
SHARE | RSS中與其他程序共享的記憶體大小 |
VMSIZE | 程序佔用的總地址空間,包含沒有對映到記憶體中的頁 |
Private RSS | 僅由程序單獨佔用的RSS,也就是程序實際佔用的記憶體 |
1.1 mm_struct介紹
linux中的地址空間是用 mm_struct 來表示的。
下面對其中一些關鍵的屬性進行了註釋,有些屬性我也不是很瞭解......
struct mm_struct { struct vm_area_struct * mmap; /* [記憶體區域]連結串列 */ struct rb_root mm_rb; /* [記憶體區域]紅黑樹 */ struct vm_area_struct * mmap_cache; /* 最近一次訪問的[記憶體區域] */ unsigned long (*get_unmapped_area) (struct file *filp, unsigned long addr, unsigned long len, unsigned long pgoff, unsigned long flags); /* 獲取指定區間內一個還未對映的地址,出錯時返回錯誤碼 */ void (*unmap_area) (struct mm_struct *mm, unsigned long addr); /* 取消地址 addr 的對映 */ unsigned long mmap_base; /* 地址空間中可以用來對映的首地址 */ unsigned long task_size; /* 程序的虛擬地址空間大小 */ unsigned long cached_hole_size; /* 如果不空的話,就是 free_area_cache 後最大的空洞 */ unsigned long free_area_cache; /* 地址空間的第一個空洞 */ pgd_t * pgd; /* 頁全域性目錄 */ atomic_t mm_users; /* 使用地址空間的使用者數 */ atomic_t mm_count; /* 實際使用地址空間的計數, (users count as 1) */ int map_count; /* [記憶體區域]個數 */ struct rw_semaphore mmap_sem; /* 記憶體區域訊號量 */ spinlock_t page_table_lock; /* 頁表鎖 */ struct list_head mmlist; /* 所有地址空間形成的連結串列 */ /* Special counters, in some configurations protected by the * page_table_lock, in other configurations by being atomic. */ mm_counter_t _file_rss; mm_counter_t _anon_rss; unsigned long hiwater_rss; /* High-watermark of RSS usage */ unsigned long hiwater_vm; /* High-water virtual memory usage */ unsigned long total_vm, locked_vm, shared_vm, exec_vm; unsigned long stack_vm, reserved_vm, def_flags, nr_ptes; unsigned long start_code, end_code, start_data, end_data; /* 程式碼段,資料段的開始和結束地址 */ unsigned long start_brk, brk, start_stack; /* 堆的首地址,尾地址,程序棧首地址 */ unsigned long arg_start, arg_end, env_start, env_end; /* 命令列引數,環境變數首地址,尾地址 */ unsigned long saved_auxv[AT_VECTOR_SIZE]; /* for /proc/PID/auxv */ struct linux_binfmt *binfmt; cpumask_t cpu_vm_mask; /* Architecture-specific MM context */ mm_context_t context; /* Swap token stuff */ /* * Last value of global fault stamp as seen by this process. * In other words, this value gives an indication of how long * it has been since this task got the token. * Look at mm/thrash.c */ unsigned int faultstamp; unsigned int token_priority; unsigned int last_interval; unsigned long flags; /* Must use atomic bitops to access the bits */ struct core_state *core_state; /* coredumping support */ #ifdef CONFIG_AIO spinlock_t ioctx_lock; struct hlist_head ioctx_list; #endif #ifdef CONFIG_MM_OWNER /* * "owner" points to a task that is regarded as the canonical * user/owner of this mm. All of the following must be true in * order for it to be changed: * * current == mm->owner * current->mm != mm * new_owner->mm == mm * new_owner->alloc_lock is held */ struct task_struct *owner; #endif #ifdef CONFIG_PROC_FS /* store ref to file /proc/<pid>/exe symlink points to */ struct file *exe_file; unsigned long num_exe_file_vmas; #endif #ifdef CONFIG_MMU_NOTIFIER struct mmu_notifier_mm *mmu_notifier_mm; #endif };
補充說明1: 上面的屬性中,mm_users 和 mm_count 很容易混淆,這裡特別說明一下:(下面的內容有網上查詢的,也有我自己理解的)
mm_users 比較好理解,就是 mm_struct 被使用者空間程序(執行緒)引用的次數。
如果程序A中建立了3個新執行緒,那麼 程序A(這時候叫執行緒A也可以)對應的 mm_struct 中的 mm_users = 4
補充一點,linux中程序和執行緒幾乎沒有什麼區別,就是看它是否共享程序地址空間,共享程序地址空間就是執行緒,反之就是程序。
所以,如果子程序和父程序共享了程序地址空間,那麼父子程序都可以看做執行緒。如果父子程序沒有共享程序地址空間,就是2個程序
mm_count 則稍微有點繞人,其實它記錄就是 mm_struct 實際的引用計數。
簡單點說,當 mm_users=0 時,並不一定能釋放此 mm_struct,只有當 mm_count=0 時,才可以確定釋放此 mm_struct
從上面的解釋可以看出,可能引用 mm_struct 的並不只是使用者空間的程序(執行緒)
當 mm_users>0 時, mm_count 會增加1, 表示有使用者空間程序(執行緒)在使用 mm_struct。不管使用 mm_struct 的使用者程序(執行緒)有幾個, mm_count 都只是增加1。
也就是說,如果只有1個程序使用 mm_struct,那麼 mm_users=1,mm_count也是 1。
如果有9個執行緒在使用 mm_struct,那麼 mm_users=9,而 mm_count 仍然為 1。
那麼 mm_count 什麼情況下會大於 1呢?
當有核心執行緒使用 mm_struct 時,mm_count 才會再增加 1。
核心執行緒為何會使用使用者空間的 mm_struct 是有其他原因的,這個後面再闡述。這裡先知道核心執行緒使用 mm_struct 時也會導致 mm_count 增加 1。
在下面這種情況下,mm_count 就很有必要了:
- - 程序A啟動,並申請了一個 mm_struct,此時 mm_users=1, mm_count=1
- - 程序A中新建了2個執行緒,此時 mm_users=3, mm_count=1
- - 核心排程發生,程序A及相關執行緒都被掛起,一個核心執行緒B 使用了程序A 申請的 mm_struct,此時 mm_users=3, mm_count=2
- - CPU的另一個core排程了程序A及其執行緒,並且執行完了程序A及其執行緒的所有操作,也就是程序A退出了。此時 mm_users=0, mm_count=1
- 在這裡就看出 mm_count 的用處了,如果只有 mm_users 的話,這裡 mm_users=0 就會釋放 mm_struct,從而有可能導致 核心執行緒B 異常。
- - 核心執行緒B 執行完成後退出,這時 mm_users=0,mm_count=0,可以安全釋放 mm_struct 了
補充說明2:為何核心執行緒會使用使用者空間的 mm_struct?
對Linux來說,使用者程序和核心執行緒都是task_struct的例項,
唯一的區別是核心執行緒是沒有程序地址空間的(核心執行緒使用的核心地址空間),核心執行緒的mm描述符是NULL,即核心執行緒的tsk->mm域是空(NULL)。
核心排程程式在程序上下文的時候,會根據tsk->mm判斷即將排程的程序是使用者程序還是核心執行緒。
但是雖然核心執行緒不用訪問使用者程序地址空間,但是仍然需要頁表來訪問核心自己的空間。
而任何使用者程序來說,他們的核心空間都是100%相同的,所以核心會借用上一個被呼叫的使用者程序的mm_struct中的頁表來訪問核心地址,這個mm_struct就記錄在active_mm。
簡而言之就是,對於核心執行緒,tsk->mm == NULL表示自己核心執行緒的身份,而tsk->active_mm是借用上一個使用者程序的mm_struct,用mm_struct的頁表來訪問核心空間。
對於使用者程序,tsk->mm == tsk->active_mm。
補充說明3:除了 mm_users 和 mm_count 之外,還有 mmap 和 mm_rb 需要說明以下:
其實 mmap 和 mm_rb 都是儲存此 程序地址空間中所有的記憶體區域(VMA)的,前者是以連結串列形式存放,後者以紅黑樹形式存放。
用2種資料結構組織同一種資料是為了便於對VMA進行高效的操作。
1.2 mm_struct操作
1. 分配程序地址空間
參考 kernel/fork.c 中的巨集 allocate_mm
#define allocate_mm() (kmem_cache_alloc(mm_cachep, GFP_KERNEL)) #define free_mm(mm) (kmem_cache_free(mm_cachep, (mm)))
其實分配程序地址空間時,都是從slab快取記憶體中分配的,可以通過 /proc/slabinfo 檢視 mm_struct 的快取記憶體
# cat /proc/slabinfo | grep mm_struct mm_struct 35 45 1408 5 2 : tunables 24 12 8 : slabdata 9 9 0
2. 撤銷程序地址空間
參考 kernel/exit.c 中的 exit_mm() 函式
該函式會呼叫 mmput() 函式減少 mm_users 的值,
當 mm_users=0 時,呼叫 mmdropo() 函式, 減少 mm_count 的值,
如果 mm_count=0,那麼呼叫 free_mm 巨集,將 mm_struct 還給 slab快取記憶體
3. 檢視程序佔用的記憶體:
cat /proc/<PID>/maps 或者 pmap PID
2. 虛擬記憶體區域(VMA)
記憶體區域在linux中也被稱為虛擬記憶體區域(VMA),它其實就是程序地址空間上一段連續的記憶體範圍。
2.1 VMA介紹
VMA的定義也在 <linux/mm_types.h> 中
struct vm_area_struct { struct mm_struct * vm_mm; /* 相關的 mm_struct 結構體 */ unsigned long vm_start; /* 記憶體區域首地址 */ unsigned long vm_end; /* 記憶體區域尾地址 */ /* linked list of VM areas per task, sorted by address */ struct vm_area_struct *vm_next, *vm_prev; /* VMA連結串列 */ pgprot_t vm_page_prot; /* 訪問控制權限 */ unsigned long vm_flags; /* 標誌 */ struct rb_node vm_rb; /* 樹上的VMA節點 */ /* * For areas with an address space and backing store, * linkage into the address_space->i_mmap prio tree, or * linkage to the list of like vmas hanging off its node, or * linkage of vma in the address_space->i_mmap_nonlinear list. */ union { struct { struct list_head list; void *parent; /* aligns with prio_tree_node parent */ struct vm_area_struct *head; } vm_set; struct raw_prio_tree_node prio_tree_node; } shared; /* * A file's MAP_PRIVATE vma can be in both i_mmap tree and anon_vma * list, after a COW of one of the file pages. A MAP_SHARED vma * can only be in the i_mmap tree. An anonymous MAP_PRIVATE, stack * or brk vma (with NULL file) can only be in an anon_vma list. */ struct list_head anon_vma_node; /* Serialized by anon_vma->lock */ struct anon_vma *anon_vma; /* Serialized by page_table_lock */ /* Function pointers to deal with this struct. */ const struct vm_operations_struct *vm_ops; /* Information about our backing store: */ unsigned long vm_pgoff; /* Offset (within vm_file) in PAGE_SIZE units, *not* PAGE_CACHE_SIZE */ struct file * vm_file; /* File we map to (can be NULL). */ void * vm_private_data; /* was vm_pte (shared mem) */ unsigned long vm_truncate_count;/* truncate_count or restart_addr */ #ifndef CONFIG_MMU struct vm_region *vm_region; /* NOMMU mapping region */ #endif #ifdef CONFIG_NUMA struct mempolicy *vm_policy; /* NUMA policy for the VMA */ #endif };
這個結構體各個欄位的英文註釋都比較詳細,就不一一翻譯了。
上述屬性中的 vm_flags 標識了此VM 對 VMA和頁面的影響:
vm_flags 的巨集定義參見 <linux/mm.h>
標誌 |
對VMA及其頁面的影響 |
VM_READ | 頁面可讀取 |
VM_WRITE | 頁面可寫 |
VM_EXEC | 頁面可執行 |
VM_SHARED | 頁面可共享 |
VM_MAYREAD | VM_READ 標誌可被設定 |
VM_MAYWRITER | VM_WRITE 標誌可被設定 |
VM_MAYEXEC | VM_EXEC 標誌可被設定 |
VM_MAYSHARE | VM_SHARE 標誌可被設定 |
VM_GROWSDOWN | 區域可向下增長 |
VM_GROWSUP | 區域可向上增長 |
VM_SHM | 區域可用作共享記憶體 |
VM_DENYWRITE | 區域對映一個不可寫檔案 |
VM_EXECUTABLE | 區域對映一個可執行檔案 |
VM_LOCKED | 區域中的頁面被鎖定 |
VM_IO | 區域對映裝置I/O空間 |
VM_SEQ_READ | 頁面可能會被連續訪問 |
VM_RAND_READ | 頁面可能會被隨機訪問 |
VM_DONTCOPY | 區域不能在 fork() 時被拷貝 |
VM_DONTEXPAND | 區域不能通過 mremap() 增加 |
VM_RESERVED | 區域不能被換出 |
VM_ACCOUNT | 該區域時一個記賬 VM 物件 |
VM_HUGETLB | 區域使用了 hugetlb 頁面 |
VM_NONLINEAR | 該區域是非線性對映的 |
2.2 VMA操作
vm_area_struct 結構體定義中有個 vm_ops 屬性,其中定義了核心操作 VMA 的方法
/* * These are the virtual MM functions - opening of an area, closing and * unmapping it (needed to keep files on disk up-to-date etc), pointer * to the functions called when a no-page or a wp-page exception occurs. */ struct vm_operations_struct { void (*open)(struct vm_area_struct * area); /* 指定記憶體區域加入到一個地址空間時,該函式被呼叫 */ void (*close)(struct vm_area_struct * area); /* 指定記憶體區域從一個地址空間刪除時,該函式被呼叫 */ int (*fault)(struct vm_area_struct *vma, struct vm_fault *vmf); /* 當沒有出現在物理頁面中的記憶體被訪問時,該函式被呼叫 */ /* 當一個之前只讀的頁面變為可寫時,該函式被呼叫, * 如果此函數出錯,將導致一個 SIGBUS 訊號 */ int (*page_mkwrite)(struct vm_area_struct *vma, struct vm_fault *vmf); /* 當 get_user_pages() 呼叫失敗時, 該函式被 access_process_vm() 函式呼叫 */ int (*access)(struct vm_area_struct *vma, unsigned long addr, void *buf, int len, int write); #ifdef CONFIG_NUMA /* * set_policy() op must add a reference to any non-NULL @new mempolicy * to hold the policy upon return. Caller should pass NULL @new to * remove a policy and fall back to surrounding context--i.e. do not * install a MPOL_DEFAULT policy, nor the task or system default * mempolicy. */ int (*set_policy)(struct vm_area_struct *vma, struct mempolicy *new); /* * get_policy() op must add reference [mpol_get()] to any policy at * (vma,addr) marked as MPOL_SHARED. The shared policy infrastructure * in mm/mempolicy.c will do this automatically. * get_policy() must NOT add a ref if the policy at (vma,addr) is not * marked as MPOL_SHARED. vma policies are protected by the mmap_sem. * If no [shared/vma] mempolicy exists at the addr, get_policy() op * must return NULL--i.e., do not "fallback" to task or system default * policy. */ struct mempolicy *(*get_policy)(struct vm_area_struct *vma, unsigned long addr); int (*migrate)(struct vm_area_struct *vma, const nodemask_t *from, const nodemask_t *to, unsigned long flags); #endif };
除了以上的操作之外,還有一些輔助函式來方便核心操作記憶體區域。
這些輔助函式都可以在 <linux/mm.h> 中找到
1. 查詢地址空間
/* Look up the first VMA which satisfies addr < vm_end, NULL if none. */ extern struct vm_area_struct * find_vma(struct mm_struct * mm, unsigned long addr); extern struct vm_area_struct * find_vma_prev(struct mm_struct * mm, unsigned long addr, struct vm_area_struct **pprev); /* Look up the first VMA which intersects the interval start_addr..end_addr-1, NULL if none. Assume start_addr < end_addr. */ static inline struct vm_area_struct * find_vma_intersection(struct mm_struct * mm, unsigned long start_addr, unsigned long end_addr) { struct vm_area_struct * vma = find_vma(mm,start_addr); if (vma && end_addr <= vma->vm_start) vma = NULL; return vma; }
2. 建立地址區間
static inline unsigned long do_mmap(struct file *file, unsigned long addr, unsigned long len, unsigned long prot, unsigned long flag, unsigned long offset) { unsigned long ret = -EINVAL; if ((offset + PAGE_ALIGN(len)) < offset) goto out; if (!(offset & ~PAGE_MASK)) ret = do_mmap_pgoff(file, addr, len, prot, flag, offset >> PAGE_SHIFT); out: return ret; }
3. 刪除地址區間
extern int do_munmap(struct mm_struct *, unsigned long, size_t);
3. 地址空間和頁表
地址空間中的地址都是虛擬記憶體中的地址,而CPU需要操作的是實體記憶體,所以需要一個將虛擬地址對映到實體地址的機制。
這個機制就是頁表,linux中使用3級頁面來完成虛擬地址到實體地址的轉換。
1. PGD - 全域性頁目錄,包含一個 pgd_t 型別陣列,多數體系結構中 pgd_t 型別就是一個無符號長整型
2. PMD - 中間頁目錄,它是個 pmd_t 型別陣列
3. PTE - 簡稱頁表,包含一個 pte_t 型別的頁表項,該頁表項指向物理頁面
虛擬地址 - 頁表 - 實體地址的關係如下圖: