1. 程式人生 > >輕鬆搞定記憶體對齊

輕鬆搞定記憶體對齊

記憶體對齊

  一、概念 
   
   對齊跟資料在記憶體中的位置有關。如果一個變數的記憶體地址正好位於它長度的整數倍,他就被稱做自然對齊。比如在32位cpu下,假設一個整型變數的地址為0x00000004,那它就是自然對齊的。
   
  二、為什麼要位元組對齊
   
   需要位元組對齊的根本原因在於CPU訪問資料的效率問題。假設上面整型變數的地址不是自然對齊,比如為0x00000002,則CPU如果取它的值的話需要訪問兩次記憶體,第一次取從0x00000002-0x00000003的一個short,第二次取從0x00000004-0x00000005的一個short然後組合得到所要的資料,如果變數在0x00000003地址上的話則要訪問三次記憶體,第一次為char,第二次為short,第三次為char,然後組合得到整型資料。而如果變數在自然對齊位置上,則只要一次就可以取出資料。一些系統對對齊要求非常嚴格,比如sparc系統,如果取未對齊的資料會發生錯誤,舉個例:
   
  char ch[8];
  char *p = &ch[1];
  int i = *(int *)p;
   
  
  執行時會報segment error,而在x86上就不會出現錯誤,只是效率下降。
  
  三、正確處理位元組對齊
  
   對於標準資料型別,它的地址只要是它的長度的整數倍就行了,而非標準資料型別按下面的原則對齊:
  
  陣列 :按照基本資料型別對齊,第一個對齊了後面的自然也就對齊了。 
  聯合 :按其包含的長度最大的資料型別對齊。 
  結構體: 結構體中每個資料型別都要對齊。
  比如有如下一個結構體:
  
  struct stu{
   char sex;
   int length;
   char name[10];
  }; 20
  struct stu my_stu;
   
  
  由於在x86下,GCC預設按4位元組對齊,它會在sex後面跟name後面分別填充三個和兩個位元組使length和整個結構體對齊。於是我們sizeof(my_stu)會得到長度為20,而不是15.
  
  四、__attribute__選項
  
  我們可以按照自己設定的對齊大小來編譯程式,GNU使用__attribute__選項來設定,比如我們想讓剛才的結構按一位元組對齊,我們可以這樣定義結構體
  
  struct stu{
   char sex;
   int length;
   char name[10];
  }__attribute__ ((aligned (1))); 
  
  struct stu my_stu;
   
  
  則sizeof(my_stu)可以得到大小為15。
  
  上面的定義等同於
  
  struct stu{
   char sex;
   int length;
   char name[10];
  }__attribute__ ((packed)); 
  struct stu my_stu;
   
  
  __attribute__((packed))得變數或者結構體成員使用最小的對齊方式,即對變數是一位元組對齊,對域(field)是位對齊.
  
  五、什麼時候需要設定對齊
  
   在設計不同CPU下的通訊協議時,或者編寫硬體驅動程式時暫存器的結構這兩個地方都需要按一位元組對齊。即使看起來本來就自然對齊的也要使其對齊,以免不同的編譯器生成的程式碼不一樣.

一、快速理解

1. 什麼是位元組對齊?

C語言中,結構是一種複合資料型別,其構成元素既可以是基本資料型別(如int、long、float等)的變數,也可以是一些複合資料型別(如陣列、結構、聯合等)的資料單元。在結構中,編譯器為結構的每個成員按其自然邊界(alignment)分配空間。各個成員按照它們被宣告的順序在記憶體中順序儲存,第一個成員的地址和整個結構的地址相同。

為了使CPU能夠對變數進行快速的訪問,變數的起始地址應該具有某些特性,即所謂的”對齊”. 比如4位元組的int型,其起始地址應該位於4位元組的邊界上,即起始地址能夠被4整除.

2. 位元組對齊有什麼作用?

位元組對齊的作用不僅是便於cpu快速訪問,同時合理的利用位元組對齊可以有效地節省儲存空間。

對於32位機來說,4位元組對齊能夠使cpu訪問速度提高,比如說一個long型別的變數,如果跨越了4位元組邊界儲存,那麼cpu要讀取兩次,這樣效率就低了。但是在32位機中使用1位元組或者2位元組對齊,反而會使變數訪問速度降低。所以這要考慮處理器型別,另外還得考慮編譯器的型別。在vc中預設是4位元組對齊的,GNU gcc 也是預設4位元組對齊。

3. 更改C編譯器的預設位元組對齊方式

在預設情況下,C編譯器為每一個變數或是資料單元按其自然對界條件分配空間。一般地,可以通過下面的方法來改變預設的對界條件:
· 使用偽指令#pragma pack (n),C編譯器將按照n個位元組對齊。
· 使用偽指令#pragma pack (),取消自定義位元組對齊方式。

另外,還有如下的一種方式:
· __attribute((aligned (n))),讓所作用的結構成員對齊在n位元組自然邊界上。如果結構中有成員的長度大於n,則按照最大成員的長度來對齊。
· __attribute__ ((packed)),取消結構在編譯過程中的優化對齊,按照實際佔用位元組數進行對齊。

4. 舉例說明

例1

struct test
{
char x1;
short x2;
float x3;
char x4;
};

由於編譯器預設情況下會對這個struct作自然邊界(有人說“自然對界”我覺得邊界更順口)對齊,結構的第一個成員x1,其偏移地址為0,佔據了第1個位元組。第二個成員x2為short型別,其起始地址必須2位元組對界,因此,編譯器在x2和x1之間填充了一個空位元組。結構的第三個成員x3和第四個成員x4恰好落在其自然邊界地址上,在它們前面不需要額外的填充位元組。在test結構中,成員x3要求4位元組對界,是該結構所有成員中要求的最大邊界單元,因而test結構的自然對界條件為4位元組,編譯器在成員x4後面填充了3個空位元組。整個結構所佔據空間為12位元組。

例2

#pragma pack(1) //讓編譯器對這個結構作1位元組對齊
struct test
{
char x1;
short x2;
float x3;
char x4;
};
#pragma pack() //取消1位元組對齊,恢復為預設4位元組對齊

這時候sizeof(struct test)的值為8。

例3

#define GNUC_PACKED __attribute__((packed))
struct PACKED test
{
char x1;
short x2;
float x3;
char x4;
}GNUC_PACKED;

這時候sizeof(struct test)的值仍為8。

二、深入理解

什麼是位元組對齊,為什麼要對齊?
TragicJun 發表於 2006-9-18 9:41:00 現代計算機中記憶體空間都是按照byte劃分的,從理論上講似乎對任何型別的變數的訪問可以從任何地址開始,但實際情況是在訪問特定型別變數的時候經常在特定的記憶體地址訪問,這就需要各種型別資料按照一定的規則在空間上排列,而不是順序的一個接一個的排放,這就是對齊。
      對齊的作用和原因:各個硬體平臺對儲存空間的處理上有很大的不同。一些平臺對某些特定型別的資料只能從某些特定地址開始存取。比如有些架構的CPU在訪問一個沒有進行對齊的變數的時候會發生錯誤,那麼在這種架構下程式設計必須保證位元組對齊.其他平臺可能沒有這種情況,但是最常見的是如果不按照適合其平臺要求對資料存放進行對齊,會在存取效率上帶來損失。比如有些平臺每次讀都是從偶地址開始,如果一個int型(假設為32位系統)如果存放在偶地址開始的地方,那麼一個讀週期就可以讀出這32bit,而如果存放在奇地址開始的地方,就需要2個讀週期,並對兩次讀出的結果的高低位元組進行拼湊才能得到該32bit資料。顯然在讀取效率上下降很多。
二.位元組對齊對程式的影響:

        先讓我們看幾個例子吧(32bit,x86環境,gcc編譯器):
設結構體如下定義:
struct A
{
        int a;
        char b;
        short c;
};
struct B
{
        char b;
        int a;
        short c;
};
現在已知32位機器上各種資料型別的長度如下:
char:1(有符號無符號同)   
short:2(有符號無符號同)   
int:4(有符號無符號同)   
long:4(有符號無符號同)   
float:4        double:8
那麼上面兩個結構大小如何呢?
結果是:
sizeof(strcut A)值為8
sizeof(struct B)的值卻是12

結構體A中包含了4位元組長度的int一個,1位元組長度的char一個和2位元組長度的short型資料一個,B也一樣;按理說A,B大小應該都是7位元組。
之所以出現上面的結果是因為編譯器要對資料成員在空間上進行對齊。上面是按照編譯器的預設設定進行對齊的結果,那麼我們是不是可以改變編譯器的這種預設對齊設定呢,當然可以.例如:
#pragma pack (2) /*指定按2位元組對齊*/
struct C
{
        char b;
        int a;
        short c;
};
#pragma pack () /*取消指定對齊,恢復預設對齊*/
sizeof(struct C)值是8。
修改對齊值為1:
#pragma pack (1) /*指定按1位元組對齊*/
struct D
{
        char b;
        int a;
        short c;
};
#pragma pack () /*取消指定對齊,恢復預設對齊*/
sizeof(struct D)值為7。
後面我們再講解#pragma pack()的作用.

三.編譯器是按照什麼樣的原則進行對齊的?

        先讓我們看四個重要的基本概念:


1.資料型別自身的對齊值:
 對於char型資料,其自身對齊值為1,對於short型為2,對於int,float,double型別,其自身對齊值為4,單位位元組。
2.結構體或者類的自身對齊值:其成員中自身對齊值最大的那個值。
3.指定對齊值:#pragma pack (value)時的指定對齊值value。
4.資料成員、結構體和類的有效對齊值:自身對齊值和指定對齊值中小的那個值。

!!!sizeof()的時候 不考慮static 型別變數   sizeof只計算在棧上的記憶體   不計算 在靜態資料儲存區的
有了這些值,我們就可以很方便的來討論具體資料結構的成員和其自身的對齊方式。有效對齊值N是最終用來決定資料存放地址方式的值,最重要。有效對齊N,就是表示“對齊在N上”,也就是說該資料的"存放起始地址%N=0".而資料結構中的資料變數都是按定義的先後順序來排放的。第一個資料變數的起始地址就是資料結構的起始地址。結構體的成員變數要對齊排放,結構體本身也要根據自身的有效對齊值圓整(就是結構體成員變數佔用總長度需要是對結構體有效對齊值的整數倍,結合下面例子理解)。這樣就不能理解上面的幾個例子的值了。
例子分析:
分析例子B;
struct B
{
        char b;
        int a;
        short c;
};
假設B從地址空間0x0000開始排放。該例子中沒有定義指定對齊值,在筆者環境下,該值預設為4。第一個成員變數b的自身對齊值是1,比指定或者預設指定對齊值4小,所以其有效對齊值為1,所以其存放地址0x0000符合0x0000%1=0.第二個成員變數a,其自身對齊值為4,所以有效對齊值也為4,所以只能存放在起始地址為0x0004到0x0007這四個連續的位元組空間中,複核0x0004%4=0,且緊靠第一個變數。第三個變數c,自身對齊值為2,所以有效對齊值也是2,可以存放在0x0008到0x0009這兩個位元組空間中,符合0x0008%2=0。所以從0x0000到0x0009存放的都是B內容。再看資料結構B的自身對齊值為其變數中最大對齊值(這裡是b)所以就是4,所以結構體的有效對齊值也是4。根據結構體圓整的要求,0x0009到0x0000=10位元組,(10+2)%4=0。所以0x0000A到0x000B也為結構體B所佔用。故B從0x0000到0x000B共有12個位元組,sizeof(struct B)=12;其實如果就這一個就來說它已將滿足位元組對齊了,因為它的起始地址是0,因此肯定是對齊的,之所以在後面補充2個位元組,是因為編譯器為了實現結構陣列的存取效率,試想如果我們定義了一個結構B的陣列,那麼第一個結構起始地址是0沒有問題,但是第二個結構呢?按照陣列的定義,陣列中所有元素都是緊挨著的,如果我們不把結構的大小補充為4的整數倍,那麼下一個結構的起始地址將是0x0000A,這顯然不能滿足結構的地址對齊了,因此我們要把結構補充成有效對齊大小的整數倍.其實諸如:對於char型資料,其自身對齊值為1,對於short型為2,對於int,float,double型別,其自身對齊值為4,這些已有型別的自身對齊值也是基於陣列考慮的,只是因為這些型別的長度已知了,所以他們的自身對齊值也就已知了.
同理,分析上面例子C:
#pragma pack (2) /*指定按2位元組對齊*/
struct C
{
        char b;
        int a;
        short c;
};
#pragma pack () /*取消指定對齊,恢復預設對齊*/
第一個變數b的自身對齊值為1,指定對齊值為2,所以,其有效對齊值為1,假設C從0x0000開始,那麼b存放在0x0000,符合0x0000%1=0;第二個變數,自身對齊值為4,指定對齊值為2,所以有效對齊值為2,所以順序存放在0x0002、0x0003、0x0004、0x0005四個連續位元組中,符合0x0002%2=0。第三個變數c的自身對齊值為2,所以有效對齊值為2,順序存放
在0x0006、0x0007中,符合0x0006%2=0。所以從0x0000到0x00007共八位元組存放的是C的變數。又C的自身對齊值為4,所以C的有效對齊值為2。又8%2=0,C只佔用0x0000到0x0007的八個位元組。所以sizeof(struct C)=8.

四.如何修改編譯器的預設對齊值?

1.在VC IDE中,可以這樣修改:[Project]|[Settings],c/c++選項卡Category的Code Generation選項的Struct Member Alignment中修改,預設是8位元組。
2.在編碼時,可以這樣動態修改:#pragma pack .注意:是pragma而不是progma.

五.針對位元組對齊,我們在程式設計中如何考慮?
        如果在程式設計的時候要考慮節約空間的話,那麼我們只需要假定結構的首地址是0,然後各個變數按照上面的原則進行排列即可,基本的原則就是把結構中的變數按照型別大小從小到大宣告,儘量減少中間的填補空間.還有一種就是為了以空間換取時間的效率,我們顯示的進行填補空間進行對齊,比如:有一種使用空間換時間做法是顯式的插入reserved成員:
             struct A{
               char a;
               char reserved[3];//使用空間換時間
               int b;
}

reserved成員對我們的程式沒有什麼意義,它只是起到填補空間以達到位元組對齊的目的,當然即使不加這個成員通常編譯器也會給我們自動填補對齊,我們自己加上它只是起到顯式的提醒作用.

六.位元組對齊可能帶來的隱患:

        程式碼中關於對齊的隱患,很多是隱式的。比如在強制型別轉換的時候。例如:
unsigned int i = 0x12345678;
unsigned char *p=NULL;
unsigned short *p1=NULL;

p=&i;
*p=0x00;
p1=(unsigned short *)(p+1);
*p1=0x0000;
最後兩句程式碼,從奇數邊界去訪問unsignedshort型變數,顯然不符合對齊的規定。
在x86上,類似的操作只會影響效率,但是在MIPS或者sparc上,可能就是一個error,因為它們要求必須位元組對齊.

七.如何查詢與位元組對齊方面的問題:

如果出現對齊或者賦值問題首先檢視
1. 編譯器的big little端設定
2. 看這種體系本身是否支援非對齊訪問
3. 如果支援看設定了對齊與否,如果沒有則看訪問時需要加某些特殊的修飾來標誌其特殊訪問操作

舉例:

  1. #include <stdio.h>
  2. main()  
  3. {  
  4. struct A {  
  5.     int a;  
  6.     char b;  
  7.     short c;  
  8. };  
  9. struct B {  
  10.     char b;  
  11.     int a;  
  12.     short c;  
  13. };  
  14. #pragma pack (2) /*指定按2位元組對齊*/
  15. struct C {  
  16.     char b;  
  17.     int a;  
  18.     short c;  
  19. };  
  20. #pragma pack () /*取消指定對齊,恢復預設對齊*/
  21. #pragma pack (1) /*指定按1位元組對齊*/
  22. struct D {  
  23.     char b;  
  24.     int a;  
  25.     short c;  
  26. };  
  27. #pragma pack ()/*取消指定對齊,恢復預設對齊*/
  28. int s1=sizeof(struct A);  
  29. int s2=sizeof(struct B);  
  30. int s3=sizeof(struct C);  
  31. int s4=sizeof(struct D);  
  32. printf("%d\n",s1);  
  33. printf("%d\n",s2);  
  34. printf("%d\n",s3);  
  35. printf("%d\n",s4);  
  36. }  


輸出:

8

12

8

7

修改程式碼:

struct A {
   // int a;
    char b;
    short c;
};

struct B {
    char b;
   // int a;
    short c;
};

輸出:

4

4

輸出都是4,說明之前的int影響對齊!

看圖就明白了

相關推薦

輕鬆記憶體

記憶體對齊   一、概念         對齊跟資料在記憶體中的位置有關。如果一個變數的記憶體地址正好位於它長度的整數倍,他就被稱做自然對齊。比如在32位cpu下,假設一個整型變數的地址為0x00000004,那它就是自然對齊的。       二、為什麼要位元組對齊  

在Word2016公式編輯器中一招等號問題

微軟OFFICE套裝中的公式編輯器歷來為人所詬病,但有時還不得不用它來編輯文件。 有時在Word中我們會遇到多行等式對不齊的情況,這讓人非常抓狂: 而我們希望是: ⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪s0stbtct=x0=α(xt−ct−L)+(1−α)(st−1

5分鐘記憶體位元組

寫出一個struct,然後sizeof,你會不會經常對結果感到奇怪?sizeof的結果往往都比你宣告的變數總長度要大,這是怎麼回事呢?講講位元組對齊吧. /******************************分割線 如果體系結構是不對齊的,A中的成員將會

關於C語言記憶體,提高址效率問題

前言: 計算機的記憶體都是以位元組為單位來劃分的,CPU一般都是通過地址匯流排來訪問記憶體的,一次能處理幾個位元組,就命令地址匯流排去訪問幾個位元組,32位的CPU一次能處理4個位元組,就命令地址匯流排一次讀取4個位元組,讀少了浪費主頻,讀多了也處理不了。64位的CPU一般

輕鬆java記憶體模型(二)類的載入以及初始化

上一篇我們隊java虛擬記憶體構成做了基本的介紹,本篇就以HotSpot虛擬機器為例,分析下一個物件從建立到被銷燬的過程。本篇主要講解類的載入過程。 1:類的載入過程 類的載入過程大概可以分為一下

輕鬆java記憶體模型(一)基本組成

Java記憶體大概模型如上圖,包含五大部分,其中方法區和堆是執行緒共享的,虛擬機器棧,本地方法棧,程式計數器是執行緒私有的。 1:程式計數器 程式計數器可以看做當前執行緒所執行的位元組碼(可以簡單

渠道打包不用怕!有了這項黑科技輕鬆

關於渠道打包網上方法有很多,但是太囉嗦,博主這急性子實在看不下去了。下面直接上乾貨——Shareinstall! Shareinstall其實是一個APP的推廣輔助工具。APP開發者可以通過Shareinstall更精準的進行產品的推廣。另外,Shareinstall還是一款渠道統計工具

struct自然邊界上的記憶體

    記憶體對齊大多數情況對程式設計師是透明的,是由編譯器自動處理。在C裡面允許我們干預記憶體對齊。而由於記憶體對齊的原因,巧妙的設計結構體也是非常必要的。   關於記憶體對齊問題,字、雙字和四字在自然邊界上不需要在記憶體中對齊,對字、雙字和四字來

不寫程式碼不用 Excel, 如何輕鬆各種圖形化展現

近期,大屏展示再次把 ”統計圖” 推向熱搜榜。或許你會問為什麼,這多半是因為大屏通過各種圖形元件集中呈現了使用者關心的資料,而其中每個元件基本都是一個呈現形態各異的統計圖,有的體現了某時間段某維度的資料走向,有的則是表示了某部分資料在整體的佔比,亦或是分佈聚集情況,凡此種種,不一而足。 相信資深

C++虛擬函式表以及記憶體文章

C++虛擬函式表以及記憶體對齊文章 C++ 物件的記憶體佈局(上) https://blog.csdn.net/haoel/article/details/3081328 C++ 物件的記憶體佈局(下) https://blog.csdn.net/haoel/article/deta

結構體記憶體模式

結構體的位元組大小,一個簡單的結構體定義如下,這個結構的大小應是8位元組(32位下) typedef struct MODEL4 { char c; int x; }MODEL4; char的大小是1,而int是4,但總的大小是8,這就是結構體記憶體對齊的原因。在32位的機器上,資料是以

如何輕鬆各種圖形化展現

近期,大屏展示再次把 ”統計圖” 推向熱搜榜。或許你會問為什麼,這多半是因為大屏通過各種圖形元件集中呈現了使用者關心的資料,而其中每個元件基本都是一個呈現形態各異的統計圖,有的體現了某時間段某維度的資料走向,有的則是表示了某部分資料在整體的佔比,亦或是分佈聚集情況,凡此種種,不一而足。 相信資深

C++11 記憶體 alignof alignas

一 現象 先看一段程式碼: struct s1 { char s; int i; }; struct s2 { int i; double d; }; cout << "-------basic type" << endl; c

輕鬆迷你Vue框架-單信-專題視訊課程

輕鬆搞定迷你Vue框架—1336人已學習 課程介紹         Vue是構建資料驅動的 web 介面的漸進式框架,當下流行的前端框架之一。作為MVVM架構的代表,廣受軟體公司和前端開發者的青睞。本教

行內函數,巨集定義,記憶體,型別轉換

巨集 與 inline的區別 存在的價值,兩者都是文字替換,降低程式跳轉次數,提高效率 1. define 是預處理命令,無法除錯 ,最簡單文字替換,     inline 是編譯期替換,可以除錯, 存在引數型別檢查 2. 使用inline的時候,函式必須定義   直接定義的函式

Go語言開發分散式任務排程 輕鬆高效能Crontab

Go語言開發分散式任務排程 輕鬆搞定高效能Crontab 第1章 課程介紹 本章中將介紹一下本課程的基本內容,包括:我們要做什麼、要求什麼基礎、將學會哪些工具、收穫哪些獨家乾貨,以及課程具體安排。 1-1 導學視訊 第2章 如何執行shell命令 執行

記憶體演算法

--------------------------------------------- -- 時間:2018-11-09 -- 建立人:Ruo_Xiao -- 郵箱:[email protected] ----------------------------------------

阿里雲HBase釋出冷儲存特性,輕鬆冷資料處理

摘要: 9月27日,阿里雲HBase釋出了冷儲存特性。使用者可以在購買雲HBase例項時選擇冷儲存作為一個附加的儲存空間,並通過建表語句指定將冷資料存放在冷儲存介質上面,從而降低儲存成本。冷儲存的儲存成本僅為高效雲盤的1/3,適用於資料歸檔、訪問頻率較低的歷史資料等各種場景。 9月27日,阿里雲HBase釋

VMware中CentOS 7網路配置(十分鐘輕鬆!)

VMware中CentOS 7網路配置(十分鐘輕鬆搞定!) 配置環境說明: 主機系統為win10、虛擬機器為VMware Workstation 14Pro中文版、虛擬機器中的linux系統為CentOS 7 64位。 1、 設定虛擬機器的網路連線方式: 2. 配置虛擬機器的NAT模式

關於記憶體

記憶體對齊可以用一句話來概括:“資料項只能儲存在地址是資料項大小的整數倍的記憶體位置上” 例如int型別佔用4個位元組,地址只能在0,4,8等位置上。 位元組對齊的緣故,如下的結構體的佔用記憶體是一樣 struct A{       &