程序分配記憶體的兩種方式--brk() 和mmap()（不設計共享記憶體）
如何檢視程序發生缺頁中斷的次數？
用ps -o majflt,minflt -C program命令檢視。
majflt代表major fault，中文名叫大錯誤，minflt代表minor fault，中文名叫小錯誤。
這兩個數值表示一個程序自啟動以來所發生的缺頁中斷的次數。
發成缺頁中斷後，執行了那些操作？
當一個程序發生缺頁中斷的時候，程序會陷入核心態，執行以下操作：
1、檢查要訪問的虛擬地址是否合法
2、查詢/分配一個物理頁
3、填充物理頁內容（讀取磁碟，或者直接置0，或者啥也不幹）
4、建立對映關係（虛擬地址到實體地址）
如果第3步，需要讀取磁碟，那麼這次缺頁中斷就是majflt，否則就是minflt。
記憶體分配的原理
從作業系統角度來看，程序分配記憶體有兩種方式，分別由兩個系統呼叫完成：brk和mmap（不考慮共享記憶體）。
1、brk是將資料段(.data)的最高地址指標_edata往高地址推；
2、mmap是在程序的虛擬地址空間中（堆和棧中間，稱為檔案對映區域的地方）找一塊空閒的虛擬記憶體。
這兩種方式分配的都是虛擬記憶體，沒有分配實體記憶體。在第一次訪問已分配的虛擬地址空間的時候，發生缺頁中斷，作業系統負責分配實體記憶體，然後建立虛擬記憶體和實體記憶體之間的對映關係。
在標準C庫中，提供了malloc/free函式分配釋放記憶體，這兩個函式底層是由brk，mmap，munmap這些系統呼叫實現的。
下面以一個例子來說明記憶體分配的原理：
情況一、malloc小於128k的記憶體，使用brk分配記憶體，將_edata往高地址推(只分配虛擬空間，不對應實體記憶體(因此沒有初始化)，第一次讀/寫資料時，引起核心缺頁中斷，核心才分配對應的實體記憶體，然後虛擬地址空間建立對映關係)，如下圖：
1、程序啟動的時候，其（虛擬）記憶體空間的初始佈局如圖1所示。 其中，mmap記憶體對映檔案是在堆和棧的中間（例如libc-2.2.93.so，其它資料檔案等），為了簡單起見，
2、程序呼叫A=malloc(30K)以後，記憶體空間如圖2： malloc函式會呼叫brk系統呼叫，將_edata指標往高地址推30K，就完成虛擬記憶體分配。 你可能會問： 只要把_edata+30K就完成記憶體分配了？ 事實是這樣的，_edata+30K只是完成虛擬地址的分配， A這塊記憶體現在還是沒有物理頁與之對應的， 等到程序第一次讀寫A這塊記憶體的時候，發生缺頁中斷，這個時候，核心才分配A這塊記憶體對應的物理頁。 也就是說，如果用malloc分配了A這塊內容，然後從來不訪問它，那麼，A對應的物理頁是不會被分配的。
3、程序呼叫B=malloc(40K)以後，記憶體空間如圖3。
情況二、malloc大於128k的記憶體，使用mmap分配記憶體，在堆和棧之間找一塊空閒記憶體分配(對應獨立記憶體，而且初始化為0)，如下圖：
4、程序呼叫C=malloc(200K)以後，記憶體空間如圖4： 預設情況下，malloc函式分配記憶體，如果請求記憶體大於128K（可由M_MMAP_THRESHOLD選項調節），那就不是去推_edata指標了，而是利用mmap系統呼叫，從堆和棧的中間分配一塊虛擬記憶體。 這樣子做主要是因為:: brk分配的記憶體需要等到高地址記憶體釋放以後才能釋放（例如，在B釋放之前，A是不可能釋放的，這就是記憶體碎片產生的原因，什麼時候緊縮看下面），而mmap分配的記憶體可以單獨釋放。 當然，還有其它的好處，也有壞處，再具體下去，有興趣的同學可以去看glibc裡面malloc的程式碼了。
5、程序呼叫D=malloc(100K)以後，記憶體空間如圖5；
6、程序呼叫free(C)以後，C對應的虛擬記憶體和實體記憶體一起釋放。
7、程序呼叫free(B)以後，如圖7所示： B對應的虛擬記憶體和實體記憶體都沒有釋放，因為只有一個_edata指標，如果往回推，那麼D這塊記憶體怎麼辦呢？ 當然，B這塊記憶體，是可以重用的，如果這個時候再來一個40K的請求，那麼malloc很可能就把B這塊記憶體返回回去了。
8、程序呼叫free(D)以後，如圖8所示： B和D連線起來，變成一塊140K的空閒記憶體。 9、預設情況下： 當最高地址空間的空閒記憶體超過128K（可由M_TRIM_THRESHOLD選項調節）時，執行記憶體緊縮操作（trim）。在上一個步驟free的時候，發現最高地址空閒記憶體超過128K，於是記憶體緊縮，變成圖9所示。
在瞭解了記憶體分配原理以後來看一個現象：
現象
1 壓力測試過程中，發現被測物件效能不夠理想，具體表現為：
程序的系統態CPU消耗20，使用者態CPU消耗10，系統idle大約70
2 用ps -o majflt,minflt -C program命令檢視，發現majflt每秒增量為0，而minflt每秒增量大於10000。
初步分析
majflt代表major fault，中文名叫大錯誤，minflt代表minor fault，中文名叫小錯誤。
這兩個數值表示一個程序自啟動以來所發生的缺頁中斷的次數。
當一個程序發生缺頁中斷的時候，程序會陷入核心態，執行以下操作：
檢查要訪問的虛擬地址是否合法
查詢/分配一個物理頁
填充物理頁內容(讀取磁碟，或者直接置0，或者啥也不幹)
建立對映關係(虛擬地址到實體地址)
重新執行發生缺頁中斷的那條指令
如果第3步，需要讀取磁碟，那麼這次缺頁中斷就是majflt，否則就是minflt。
此程序minflt如此之高，一秒10000多次，不得不懷疑它跟程序核心態cpu消耗大有很大關係。
分析程式碼
檢視程式碼，發現是這麼寫的：一個請求來，用malloc分配2M記憶體，請求結束後free這塊記憶體。看日誌，發現分配記憶體語句耗時10us，平均一條請求處理耗時1000us 。 原因已找到!
雖然分配記憶體語句的耗時在一條處理請求中耗時比重不大，但是這條語句嚴重影響了效能。要解釋清楚原因，需要先了解一下記憶體分配的原理。
真相大白
說完記憶體分配的原理，那麼被測模組在核心態cpu消耗高的原因就很清楚了：每次請求來都malloc一塊2M的記憶體，預設情況下，malloc呼叫mmap分配記憶體，請求結束的時候，呼叫munmap釋放記憶體。假設每個請求需要6個物理頁，那麼每個請求就會產生6個缺頁中斷，在2000的壓力下，每秒就產生了10000多次缺頁中斷，這些缺頁中斷不需要讀取磁碟解決，所以叫做minflt;缺頁中斷在核心態執行，因此程序的核心態cpu消耗很大。缺頁中斷分散在整個請求的處理過程中，所以表現為分配語句耗時(10us)相對於整條請求的處理時間(1000us)比重很小。
解決辦法
將動態記憶體改為靜態分配，或者啟動的時候，用malloc為每個執行緒分配，然後儲存在threaddata裡面。但是，由於這個模組的特殊性，靜態分配，或者啟動時候分配都不可行。另外，Linux下預設棧的大小限制是10M，如果在棧上分配幾M的記憶體，有風險。
禁止malloc呼叫mmap分配記憶體，禁止記憶體緊縮。
在程序啟動時候，加入以下兩行程式碼：
mallopt(M_MMAP_MAX, 0); // 禁止malloc呼叫mmap分配記憶體
mallopt(M_TRIM_THRESHOLD, -1); // 禁止記憶體緊縮
效果：加入這兩行程式碼以後，用ps命令觀察，壓力穩定以後，majlt和minflt都為0。程序的系統態cpu從20降到10。
小結
可以用命令ps -o majflt minflt -C program來檢視程序的majflt, minflt的值，這兩個值都是累加值，從程序啟動開始累加。在對高效能要求的程式做壓力測試的時候，我們可以多關注一下這兩個值。
如果一個程序使用了mmap將很大的資料檔案對映到程序的虛擬地址空間，我們需要重點關注majflt的值，因為相比minflt，majflt對於效能的損害是致命的，隨機讀一次磁碟的耗時數量級在幾個毫秒，而minflt只有在大量的時候才會對效能產生影響。