關於程序記憶體使用的一點學習和實踐

阿新 • • 發佈：2019-02-14

如果籠統的來看，大概就是兩個指標，系統的記憶體使用率和程序使用的記憶體。但是現實世界的事情往往沒有那麼簡單，稍微細一點來看其實有很多的科目。本文不是一個全面的關於記憶體使用的探討，甚至也不是一個詳細的Linux下面程序記憶體使用情況的分析，儘管這裡的實踐是基於此的。

這裡想做的是稍微細節一點的來看Linux下一個程序的記憶體使用情況，包括棧和堆。

首先我們從一個簡單的C程式開始。且慢，先說一下我試驗的環境。
platform: CentOS release 5.6 (Final) Linux localhost.localdomain 2.6.18-238.19.1.el5xen #1 SMP Fri Jul 15 08:57:45 EDT 2011 i686 i686 i386 GNU/Linux

gcc version 4.1.2 20080704 (Red Hat 4.1.2-50)

[[email protected] test]# cat simple_hello.c
#include <stdio.h>

int main()
{
int i,m = 1024, n = 0, x;

int a[m];

printf("assign %d values to a[%d]...\n", n, m);

for (i = 0; i < n; i++)
{
   a[i] = 100;
}

printf("value assigned.\n");

scanf("%d", &x); /* to hold program.. */
return 0;
}

真是一個很簡單的程式，只比hello world複雜一點點。建立一個靜態的陣列，長度通過m來控制，然後選擇性的給部分或者全部的元素賦值，通過n來控制。好吧，這個一個簡單的程式能看出什麼呢？那我們一起來看看。

在Linux下面，檢視一個程序的記憶體使用我們可以下面的命令來實現，只需把其中的[pid]換成程序實際的pid。
# cat /proc/[pid]/status
為了方便，我們把查詢pid和看記憶體整合成一條命令，後面這將是我們唯一的測試工具。
cat /proc/`ps -ef|grep hello | grep -v grep | awk '{print $2}'`/status | grep -E 'VmSize|VmRSS|VmData|VmStk|VmExe|VmLib'

在這裡我們關注VmSize|VmRSS|VmData|VmStk|VmExe|VmLib 這個6個指標，下面有一些簡單的解釋。
VmSize(KB) ：虛擬記憶體大小。整個程序使用虛擬記憶體大小，是VmLib, VmExe, VmData, 和 VmStk的總和。
VmRSS(KB)：虛擬記憶體駐留集合大小。這是駐留在實體記憶體的一部分。它沒有交換到硬碟。它包括程式碼，資料和棧。
VmData(KB)： 程式資料段的大小（所佔虛擬記憶體的大小），堆使用的虛擬記憶體。
VmStk(KB)： 任務在使用者態的棧的大小，棧使用的虛擬記憶體

VmExe(KB)： 程式所擁有的可執行虛擬記憶體的大小，程式碼段，不包括任務使用的庫

VmLib(KB) ：被映像到任務的虛擬記憶體空間的庫的大小

Ok, 測試開始了。

首先，我們固定m的值為409600，相當於400K，因為陣列的元素是int型，在我的環境裡面是4Byte，所以真個陣列的大小為1600KB。

m固定化，我們不斷調整n的大小，重寫編譯，執行，然後用上面的命令檢視記憶體的使用情況，這樣我們得到了下面這個表格。

從這裡我們可以得到幾個資訊：

1. 靜態的陣列使用的空間被分配到VmStk，也就是棧區。

2. 在陣列沒有初始化的時候並沒有實際佔用虛擬記憶體，看VmRss，但是整個虛擬記憶體的大小還是分配了，VmSize。

接下來我們做另一個測試，讓n=m，調整m的大小，也就是說調整陣列的大小，然後初始化所有的元素。

這樣我們得到了下面的表。

從這個表中，我們可以看出：

1. 棧的使用確實和陣列的size相關，但是有個起始預分配的大小，應該是編譯器的優化。

2. VmRSS和VmSize跟著一起在漲。

嗯，是跟著在漲，但是有個問題，棧的空間是有限的，通過這個程式或者你檢視系統的設定你可以找到上限。在我的這臺機器上上限是8MB，每個程序，所以這裡如果m的值大於2048000，就會出segmentation fault的錯誤。當然你也可以調整系統的設定，比如通過

# ulimit -s 10240
將上限調為10MB。但是這個終究不能調得很大，因為對系統會有影響。所以程式設計中太大的靜態陣列不是有個好主意。

棧的大小限制還是蠻嚴格的，好吧，那我們來看看程式可以使用的另一類儲存空間，堆（heap）。關於堆和棧的區別可能是一個常被問道的問題，你在很多地方可以找到答案。

OK，我們繼續我們的實驗，考慮到現在很多系統的後臺用C++來寫，我們也把測試程式換成C++的。好吧，我承認其實沒有太大的區別，只是申請記憶體的方式不太一樣了。

[[email protected] test]# cat hello.cpp
#include <iostream>
using namespace std;

int main()
{
cout<<"New some space for array, assign value"<<endl;

intm = 409600, n = 409600;
int *p = new int[m];

for (int i = 0; i < n; i++)
{
   p[i] = 100;
}

cout<<"value assigned."<<endl;

int x;
cin>>x; //hold program
}

這個我們使用的是動態的陣列，也就是說陣列的內容空間是我們顯式的通過new通過向系統申請的。測試工具還是上面的命令列。

延遲我們的風格，首先固定m的值，這裡是409600，400K，然後調整n的值，看情況是怎樣的。

一些觀察的結果：

1. VmData的大小約為1600KB，因為每個元素4Byte，系統還有一些別的使用。

2. n控制有多少陣列的元素被初始化，這也影響了VmRSS的大小。

整個VmSize的大小並不受初始化範圍的影響，這個結果和之前棧的實驗中看到的現象很類似，只不過這裡換成了VmData。

接下來我們讓n=m，然後兩個一起調整。

關於程序記憶體使用的一點學習和實踐

關於程序記憶體使用的一點學習和實踐

C# Ioc、DI、Unity、TDD的一點想法和實踐

Restful介面設計的學習和實踐之路

技術人“結構化思維”訓練的一點想法和實踐

用深度學習（CNN RNN Attention）解決大規模文本分類問題 - 綜述和實踐

幹貨|程序員應該怎樣去學習和掌握計算機英語呢?

微信小程序的學習和應用

基於深度學習和遷移學習的遙感影象場景分類實踐（AlexNet、ResNet）

【轉載】演講實錄：百度大規模深度學習應用實踐和開源AI框架PaddlePaddle

Nginx學習之路（六）NginX中的記憶體管理之---Nginx中的記憶體對齊和記憶體分頁

java的執行緒安全、單例模式、JVM記憶體結構等知識學習和整理

shmget 共享記憶體同步讀寫檔案一個程序寫，多個程序讀，讀和寫同步，邊寫邊讀

C++記憶體管理學習堆和棧

推薦系統遇上深度學習(二)--FFM模型理論和實踐

推薦系統遇上深度學習(三)--DeepFM模型理論和實踐

推薦系統遇上深度學習(一)--FM模型理論和實踐

深入學習JVM記憶體設定原理和調優

tensorflow實踐（二）基本原理學習和框架使用

linux記憶體操作--ioremap和mmap學習筆記

Python web入門：Django學習與實踐二（簡單頁面實現和建立一個模板）

關於程序記憶體使用的一點學習和實踐

相關推薦