C/C++程式編譯過程詳解
C語言的編譯連結過程要把我們編寫的一個c程式(原始碼)轉換成可以在硬體上執行的程式(可執行程式碼),需要進行編譯和連結。編譯就是把文字形式原始碼翻譯為機器語言形式的目標檔案的過程。連結是把目標檔案、作業系統的啟動程式碼和用到的庫檔案進行組織,形成最終生成可執行程式碼的過程。過程圖解如下:
從圖上可以看到,整個程式碼的編譯過程分為編譯和連結兩個過程,編譯對應圖中的大括號括起的部分,其餘則為連結過程。
1. 編譯過程
編譯過程又可以分成兩個階段:編譯和彙編。
編譯
編譯是讀取源程式(字元流),對之進行詞法和語法的分析,將高階語言指令轉換為功能等效的彙編程式碼,原始檔的編譯過程包含兩個主要階段:
編譯預處理
讀取c源程式,對其中的偽指令(以# 開頭的指令)和特殊符號進行處理。
偽指令主要包括以下四個方面:
1) 巨集定義指令,如# define Name TokenString,# undef等。
對於前一個偽指令,預編譯所要做的是將程式中的所有Name用TokenString替換,但作為字串常量的 Name則不被替換。對於後者,則將取消對某個巨集的定義,使以後該串的出現不再被替換。
2) 條件編譯指令,如# ifdef,# ifndef,# else,# elif,# endif等。
這些偽指令的引入使得程式設計師可以通過定義不同的巨集來決定編譯程式對哪些程式碼進行處理。預編譯程式將根據有關的檔案,將那些不必要的程式碼過濾掉。
3) 標頭檔案包含指令,如# include "FileName" 或者# include < FileName> 等。
在標頭檔案中一般用偽指令# define定義了大量的巨集(最常見的是字元常量),同時包含有各種外部符號的宣告。
採用標頭檔案的目的主要是為了使某些定義可以供多個不同的C源程式使用。因為在需要用到這些定義的C源程式中,只需加上一條# include語句即可,而不必再在此檔案中將這些定義重複一遍。預編譯程式將把標頭檔案中的定義統統都加入到它所產生的輸出檔案中,以供編譯程式對之進行處理。
包含到c源程式中的標頭檔案可以是系統提供的,這些標頭檔案一般被放在/ usr/ include目錄下。在程式中# include它們要使用尖括號(< >)。另外開發人員也可以定義自己的標頭檔案,這些檔案一般與c源程式放在同一目錄下,此時在# include中要用雙引號("")。
4) 特殊符號,預編譯程式可以識別一些特殊的符號。
例如在源程式中出現的LINE標識將被解釋為當前行號(十進位制數),FILE則被解釋為當前被編譯的C源程式的名稱。預編譯程式對於在源程式中出現的這些串將用合適的值進行替換。
預編譯程式所完成的基本上是對源程式的“替代”工作。經過此種替代,生成一個沒有巨集定義、沒有條件編譯指令、沒有特殊符號的輸出檔案。這個檔案的含義同沒有經過預處理的原始檔是相同的,但內容有所不同。下一步,此輸出檔案將作為編譯程式的輸入而被翻譯成為機器指令。
編譯、優化階段
經過預編譯得到的輸出檔案中,只有常量;如數字、字串、變數的定義,以及C語言的關鍵字,如main, if , else , for , while , { , } , + , - , * , \ 等等。
編譯程式所要作得工作就是通過詞法分析和語法分析,在確認所有的指令都符合語法規則之後,將其翻譯成等價的中間程式碼表示或彙編程式碼。
優化處理是編譯系統中一項比較艱深的技術。它涉及到的問題不僅同編譯技術本身有關,而且同機器的硬體環境也有很大的關係。優化一部分是對中間程式碼的優化。這種優化不依賴於具體的計算機。另一種優化則主要針對目的碼的生成而進行的。
對於前一種優化,主要的工作是刪除公共表示式、迴圈優化(程式碼外提、強度削弱、變換迴圈控制條件、已知量的合併等)、複寫傳播,以及無用賦值的刪除,等等。
後一種型別的優化同機器的硬體結構密切相關,最主要的是考慮是如何充分利用機器的各個硬體暫存器存放有關變數的值,以減少對於記憶體的訪問次數。另外,如何根據機器硬體執行指令的特點(如流水線、RISC、CISC、VLIW等)而對指令進行一些調整使目的碼比較短,執行的效率比較高,也是一個重要的研究課題。
經過優化得到的彙編程式碼必須經過彙編程式的彙編轉換成相應的機器指令,方可能被機器執行。
彙編
彙編過程實際上指把組合語言程式碼翻譯成目標機器指令的過程。對於被翻譯系統處理的每一個C語言源程式,都將最終經過這一處理而得到相應的目標檔案。目標檔案中所存放的也就是與源程式等效的目標的機器語言程式碼。
目標檔案由段組成。通常一個目標檔案中至少有兩個段:
1) 程式碼段:該段中所包含的主要是程式的指令。該段一般是可讀和可執行的,但一般卻不可寫。
2) 資料段:主要存放程式中要用到的各種全域性變數或靜態的資料。一般資料段都是可讀,可寫,可執行的。
UNIX環境下主要有三種類型的目標檔案:
1) 可重定位檔案
其中包含有適合於其它目標檔案連結來建立一個可執行的或者共享的目標檔案的程式碼和資料。
2) 共享的目標檔案
這種檔案存放了適合於在兩種上下文裡連結的程式碼和資料。
第一種是連結程式可把它與其它可重定位檔案及共享的目標檔案一起處理來建立另一個目標檔案;
第二種是動態連結程式將它與另一個可執行檔案及其它的共享目標檔案結合到一起,建立一個程序映象。
3) 可執行檔案
它包含了一個可以被作業系統建立一個程序來執行之的檔案。
彙編程式生成的實際上是第一種型別的目標檔案。對於後兩種還需要其他的一些處理方能得到,這個就是連結程式的工作了。
2. 連結過程
由彙編程式生成的目標檔案並不能立即就被執行,其中可能還有許多沒有解決的問題。
例如,某個原始檔中的函式可能引用了另一個原始檔中定義的某個符號(如變數或者函式呼叫等);在程式中可能呼叫了某個庫檔案中的函式,等等。所有的這些問題,都需要經連結程式的處理方能得以解決。
連結程式的主要工作就是將有關的目標檔案彼此相連線,也即將在一個檔案中引用的符號同該符號在另外一個檔案中的定義連線起來,使得所有的這些目標檔案成為一個能夠被作業系統裝入執行的統一整體。
根據開發人員指定的同庫函式的連結方式的不同,連結處理可分為兩種:
1) 靜態連結
在這種連結方式下,函式的程式碼將從其所在的靜態連結庫中被拷貝到最終的可執行程式中。這樣該程式在被執行時這些程式碼將被裝入到該程序的虛擬地址空間中。靜態連結庫實際上是一個目標檔案的集合,其中的每個檔案含有庫中的一個或者一組相關函式的程式碼。
2) 動態連結
在此種方式下,函式的程式碼被放到稱作是動態連結庫或共享物件的某個目標檔案中。連結程式此時所作的只是在最終的可執行程式中記錄下共享物件的名字以及其它少量的登記資訊。在此可執行檔案被執行時,動態連結庫的全部內容將被對映到執行時相應程序的虛地址空間。動態連結程式將根據可執行程式中記錄的資訊找到相應的函式程式碼。
對於可執行檔案中的函式呼叫,可分別採用動態連結或靜態連結的方法。使用動態連結能夠使最終的可執行檔案比較短小,並且當共享物件被多個程序使用時能節約一些記憶體,因為在記憶體中只需要儲存一份此共享物件的程式碼。但並不是使用動態連結就一定比使用靜態連結要優越。在某些情況下動態連結可能帶來一些效能上損害。
3. GCC的編譯連結
我們在linux使用的gcc編譯器便是把以上的幾個過程進行捆綁,使使用者只使用一次命令就把編譯工作完成,這的確方便了編譯工作,但對於初學者瞭解編譯過程就很不利了,下圖便是gcc代理的編譯過程:
從上圖可以看到:
1) 預編譯
將.c 檔案轉化成 .i檔案
使用的gcc命令是:gcc –E
對應於預處理命令cpp
2) 編譯
將.c/.h檔案轉換成.s檔案
使用的gcc命令是:gcc –S
對應於編譯命令 cc –S
3) 彙編
將.s 檔案轉化成 .o檔案
使用的gcc 命令是:gcc –c
對應於彙編命令是 as
4) 連結
將.o檔案轉化成可執行程式
使用的gcc 命令是: gcc
對應於連結命令是 ld
總結起來編譯過程就上面的四個過程:預編譯處理(.c) --> 編譯、優化程式(.s、.asm)--> 彙編程式(.obj、.o、.a、.ko) --> 連結程式(.exe、.elf、.axf等)。
4. 總結
C語言編譯的整個過程是非常複雜的,裡面涉及到的編譯器知識、硬體知識、工具鏈知識都是非常多的,深入瞭解整個編譯過程對工程師理解應用程式的編寫是有很大幫助的,希望大家可以多瞭解一些,在遇到問題時多思考、多實踐。
一般情況下,我們只需要知道分成編譯和連結兩個階段,編譯階段將源程式(*.c) 轉換成為目的碼(一般是obj檔案,至於具體過程就是上面說的那些階段),連結階段是把源程式轉換成的目的碼(obj檔案)與你程式裡面呼叫的庫函式對應的程式碼連線起來形成對應的可執行檔案(exe檔案)就可以了,其他的都需要在實踐中多多體會才能有更深的理解。
C/C++編譯過程
C/C++編譯過程主要分為4個過程
1) 編譯預處理
2) 編譯、優化階段
3) 彙編過程
4) 連結程式
一、編譯預處理
(1)巨集定義指令,如#define Name TokenString,#undef等。 對於前一個偽指令,預編譯所要做的是將程式中的所有Name用TokenString替換,
但作為字串常量的 Name則不被替換。對於後者,則將取消對某個巨集的定義,使以後該串的出現不再被替換。
(2)條件編譯指令,如#ifdef,#ifndef,#else,#elif,#endif等。 這些偽指令的引入使得程式設計師可以通過定義不同的巨集來決定編譯程式對哪些程式碼進行處理。
預編譯程式將根據有關的檔案,將那些不必要的程式碼過濾掉
(3) 標頭檔案包含指令,如#include "FileName"或者#include <FileName>等。 在標頭檔案中一般用偽指令#define定義了大量的巨集(最常見的是字元常量),
同時包含有各種外部符號的宣告。 包含到c源程式中的標頭檔案可以是系統提供的,這些標頭檔案一般被放在/usr/include目錄下。
在程式中#include它們要使用尖括號(< >)。
另外開發人員也可以定義自己的標頭檔案,這些檔案一般與c源程式放在同一目錄下,此時在#include中要用雙引號("")。
(4)特殊符號,預編譯程式可以識別一些特殊的符號。 例如在源程式中出現的#line標識將被解釋為當前行號(十進位制數),
上面程式實現了對巨集line的運用
(5)預處理模組 預處理工作由#pragma命令完成,#Pragma命令將設定編譯器的狀態或者是指示編譯器完成一些特定的動作。
#pragma指令對每個編譯器給出了一個方法,在保持與C和C++語言完全相容的情況下,給出主機或作業系統專有的特徵。
依據定義,編譯指示是機器或作業系統專有的,且對於每個編譯器都是不同的。
開啟C標準庫函式,如stdio.h,我們總能找到下面這一句指示編譯器初始化堆疊
#include "iostream" #line 100 using namespace std; int main(int argc, char* argv[]) { cout<<"__LINE__:"<<__LINE__<<endl; return 0; }
/*--------------------
* 輸出結果為:
* __LINE__:103
* 本來輸出的結果應該是 7,但是用#line指定行號之後,使下一行的行號變為,
* 到輸出語句恰為行103
---------------------*/
C/C++編譯過程
或者程式指示編譯器去連結系統動態連結庫或使用者自定義連結庫
二、編譯、優化階段
經過預編譯得到的輸出檔案中,只有常量;如數字、字串、變數的定義,以及C語言的關鍵字,如main,if,else,for,while,{,}, +,-,*,\等等。
在《編譯原理》中我們可以瞭解到一個編譯器對程式程式碼的編譯主要分為下面幾個過程:
a) 詞法分析
b) 語法分析
c) 語義分析
d) 中間程式碼生成
e) 程式碼優化
f) 程式碼生成
g) 符號表管理
h) 將多個步驟組合成趟
i) 編譯器構造工具
在這裡我們主要強調對函式壓棧方式(函式呼叫約定)的編譯處理
C與C++語言呼叫方式大體相同,下面是幾種常用的呼叫方式:
__cdecl 是C DECLaration的縮寫(declaration,宣告),表示C語言預設的函式呼叫方法:所有引數從右到左依次入棧,
這些引數由呼叫者清除,稱為手動清棧。被呼叫函式不需要求呼叫者傳遞多少引數,呼叫者傳遞過多或者過少的引數,
甚至完全不同的引數都不會產生編譯階段的錯誤。
_stdcall 是StandardCall的縮寫,是C++的標準呼叫方式:所有引數從右到左依次入棧,如果是呼叫類成員的話,
最後一個入棧的是this指標。這些堆疊中的引數由被呼叫的函式在返回後清除,使用的指令是 retnX,X表示引數佔用的位元組數,
CPU在ret之後自動彈出X個位元組的堆疊空間。稱為自動清棧。函式在編譯的時候就必須確定引數個數,
並且呼叫者必須嚴格的控制引數的生成,不能多,不能少,否則返回後會出錯。
PASCAL 是Pascal語言的函式呼叫方式,在早期的c/c++語言中使用這種呼叫方式,
引數壓棧順序與前兩者相反,但現在我們在程式中見到的都是它的演化版本,其實
#pragma comment(lib,_T("GDI32.lib")) #ifdef _MSC_VER /* * Currently, all MS C compilers for Win32 platforms default to 8 byte * alignment. */ #pragma pack(push,_CRT_PACKING) #endif /* _MSC_VER */
C/C++編譯過程
質是另一種呼叫方式
_fastcall是編譯器指定的快速呼叫方式。由於大多數的函式引數個數很少,使用堆疊傳遞比較費時。因此_fastcall通常規定將前兩個(或若干個)引數由暫存器傳遞,其餘引數還是通過堆疊傳遞。不同編譯器編譯的程式規定的暫存器不同。返回方式和_stdcall相當。
_thiscall 是為了解決類成員呼叫中this指標傳遞而規定的。_thiscall要求把this指標放在特定暫存器中,該暫存器由編譯器決定。VC使用ecx,Borland的C++編譯器使用eax。返回方式和_stdcall相當。
_fastcall 和 _thiscall涉及的暫存器由編譯器決定,因此不能用作跨編譯器的介面。所以Windows上的COM物件介面都定義為_stdcall呼叫方式。
C中不加說明預設函式為_cdecl方式(C中也只能用這種方式),C++也一樣,但是預設的呼叫方式可以在IDE環境中設定。簡單的我們可以從printf函式看出
printf使用從從左至右壓棧,返回int型並由_CRTIMP指定封在動態連結庫中。
通過金典的hello world程式我們可以知道編譯器對其argc和argv[]這兩個引數進行了壓棧,並且argc留在了棧頂
優化處理是編譯系統中一項比較艱深的技術。它涉及到的問題不僅同編譯技術本身有關,而且同機器的硬體環境也有很大的關係。優化處理主要分為下面幾個過程:
1) 區域性優化
a) 基本塊的劃分
b) 基本塊的變換
c) 基本塊的DAG表示
d) DAG的應用
e) 構造演算法討論
2) 控制流分析和迴圈優化
a) 程式流圖與迴圈
/*金典的hello world*/ #include <stdio.h> int main(int argc, char* argv[]) { printf("hello world"); return 0; } _Check_return_opt_ _CRTIMP int __cdecl printf(_In_z_ _Printf_format_string_ const char * _Format, ...); #define CALLBACK _stdcall /* Windows程式回撥函式*/ #define WINAPI _stdcall #define WINAPIV _cdecl #define PASCAL _stdcall /*在c++語言中使用了StandardCall呼叫方式*/ #define PASCAL _cdecl/*在c語言中使用了C DECLaration呼叫方式*/
C/C++編譯過程
b) 迴圈
c) 迴圈的查詢
d) 可歸約流圖
e) 迴圈優化
3) 資料流的分析與全域性優化
a) 一些主要的概念
b) 資料流方程的一般形式
c) 到達一定值資料流方程
d) 可用表示式及其資料流方程
e) 活躍變數資料流方程
f) 複寫傳播
經過優化得到的彙編程式碼必須經過彙編程式的彙編轉換成相應的機器指令,方可能被機器執行。
三、彙編過程
彙編過程實際上指把組合語言程式碼翻譯成目標機器指令的過程。對於被翻譯系統處理的每一個C語言源程式,
都將最終經過這一處理而得到相應的目標檔案。目標檔案中所存放的也就是與源程式等效的目標的機器語言程式碼。
目標檔案由段組成。通常一個目標檔案中至少有兩個段: 程式碼段:該段中所包含的主要是程式的指令。
該段一般是可讀和可執行的,但一般卻不可寫。 資料段:主要存放程式中要用到的各種全域性變數或靜態的資料。一般資料段都是可讀,可寫,可執行的。
四、連結程式
由彙編程式生成的目標檔案並不能立即就被執行,其中可能還有許多沒有解決的問題。
例如,某個原始檔中的函式可能引用了另一個原始檔中定義的某個符號(如變數或者函式呼叫等);
在程式中可能呼叫了某個庫檔案中的函式,等等。所有的這些問題,都需要經連結程式的處理方能得以解決。
連結程式的主要工作就是將有關的目標檔案彼此相連線,也即將在一個檔案中引用的符號同該符號在另外一個檔案中的定義連線起來,
使得所有的這些目標檔案成為一個能夠誒作業系統裝入執行的統一整體。
根據開發人員指定的同庫函式的連結方式的不同,連結處理可分為兩種:
(1)靜態連結 在這種連結方式下,函式的程式碼將從其所在地靜態連結庫中被拷貝到最終的可執行程式中。
這樣該程式在被執行時這些程式碼將被裝入到該程序的虛擬地址空間中。靜態連結庫實際上是一個目標檔案的集合,
其中的每個檔案含有庫中的一個或者一組相關函式的程式碼。
(2) 動態連結
在此種方式下,函式的程式碼被放到稱作是動態連結庫或共享物件的某個目標檔案中。連結程式此時所作的只是在最終的可執行程式中記錄下共享物件的名字以及其它少量的登記資訊。在此可執行檔案被執行時,動態連結庫的全部內容將被對映到執行時相應程序的虛地址空間。動態連結程式將根據可執行程式中記錄的資訊找到相應的函式程式碼。C/C++編譯過程對於可執行檔案中的函式呼叫,可分別採用動態連結或靜態連結的方法。使用動態連結能夠使最終的可執行檔案比較短小,並且當共享物件被多個程序使用時能節約一些記憶體,因為在記憶體中只需要儲存一份此共享物件的程式碼。但並不是使用動態連結就一定比使用靜態連結要優越。在某些情況下動態連結可能帶來一些效能上損害。
----------------------------------------------------作者 張彥升