Linux/Unix平臺可執行檔案格式分析
本文討論了 UNIX/LINUX 平臺下三種主要的可執行檔案格式:a.out(assembler and link editor output 彙編器和連結編輯器的輸出)、COFF(Common Object File Format 通用物件檔案格式)、ELF(Executable and Linking Format 可執行和連結格式)。首先是對可執行檔案格式的一個綜述,並通過描述 ELF 檔案載入過程以揭示可執行檔案內容與載入執行操作之間的關係。隨後依此討論了此三種檔案格式,並著重討論 ELF 檔案的動態連線機制,其間也穿插了對各種檔案格式優缺點的評價。最後對三種可執行檔案格式有一個簡單總結,並提出作者對可檔案格式評價的一些感想。
可執行檔案格式綜述
相對於其它檔案型別,可執行檔案可能是一個作業系統中最重要的檔案型別,因為它們是完成操作的真正執行者。可執行檔案的大小、執行速度、資源佔用情況以及可擴充套件性、可移植性等與檔案格式的定義和檔案載入過程緊密相關。研究可執行檔案的格式對編寫高效能程式和一些黑客技術的運用都是非常有意義的。
不管何種可執行檔案格式,一些基本的要素是必須的,顯而易見的,檔案中應包含程式碼和資料。因為檔案可能引用外部檔案定義的符號(變數和函式),因此重定位資訊和符號資訊也是需要的。一些輔助資訊是可選的,如除錯資訊、硬體資訊等。基本上任意一種可執行檔案格式都是按區間儲存上述資訊,稱為段(Segment)或節(Section)。不同的檔案格式中段和節的含義可能有細微區別,但根據上下文關係可以很清楚的理解,這不是關鍵問題。最後,可執行檔案通常都有一個檔案頭部以描述本檔案的總體結構。
相對可執行檔案有三個重要的概念:編譯(compile)、連線(link,也可稱為連結、聯接)、載入(load)。源程式檔案被編譯成目標檔案,多個目標檔案被連線成一個最終的可執行檔案,可執行檔案被載入到記憶體中執行。因為本文重點是討論可執行檔案格式,因此載入過程也相對重點討論。下面是LINUX平臺下ELF檔案載入過程的一個簡單描述。
1:核心首先讀ELF檔案的頭部,然後根據頭部的資料指示分別讀入各種資料結構,找到標記為可載入(loadable)的段,並呼叫函式 mmap()把段內容載入到記憶體中。在載入之前,核心把段的標記直接傳遞給 mmap(),段的標記指示該段在記憶體中是否可讀、可寫,可執行。顯然,文字段是隻讀可執行,而資料段是可讀可寫。這種方式是利用了現代作業系統和處理器對記憶體的保護功能。著名的Shellcode(參考資料 17)的編寫技巧則是突破此保護功能的一個實際例子。
2:核心分析出ELF檔案標記為 PT_INTERP 的段中所對應的動態聯結器名稱,並載入動態聯結器。現代 LINUX 系統的動態聯結器通常是 /lib/ld-linux.so.2,相關細節在後面有詳細描述。
3:核心在新程序的堆疊中設定一些標記-值對,以指示動態聯結器的相關操作。
4:核心把控制傳遞給動態聯結器。
5:動態聯結器檢查程式對外部檔案(共享庫)的依賴性,並在需要時對其進行載入。
6:動態聯結器對程式的外部引用進行重定位,通俗的講,就是告訴程式其引用的外部變數/函式的地址,此地址位於共享庫被載入在記憶體的區間內。動態連線還有一個延遲(Lazy)定位的特性,即只在"真正"需要引用符號時才重定位,這對提高程式執行效率有極大幫助。
7:動態聯結器執行在ELF檔案中標記為 .init 的節的程式碼,進行程式執行的初始化。在早期系統中,初始化程式碼對應函式 _init(void)(函式名強制固定),在現代系統中,則對應形式為
1 2 3 4 5 6 |
void
__attribute((constructor))
init_function(void)
{
……
}
|
其中函式名為任意。
8:動態聯結器把控制傳遞給程式,從 ELF 檔案頭部中定義的程式進入點開始執行。在 a.out 格式和ELF格式中,程式進入點的值是顯式存在的,在 COFF 格式中則是由規範隱含定義。
從上面的描述可以看出,載入檔案最重要的是完成兩件事情:載入程式段和資料段到記憶體;進行外部定義符號的重定位。重定位是程式連線中一個重要概念。我們知道,一個可執行程式通常是由一個含有 main() 的主程式檔案、若干目標檔案、若干共享庫(Shared Libraries)組成。(注:採用一些特別的技巧,也可編寫沒有 main 函式的程式,請參閱參考資料 2)一個 C 程式可能引用共享庫定義的變數或函式,換句話說就是程式執行時必須知道這些變數/函式的地址。在靜態連線中,程式所有需要使用的外部定義都完全包含在可執行程式中,而動態連線則只在可執行檔案中設定相關外部定義的一些引用資訊,真正的重定位是在程式執行之時。靜態連線方式有兩個大問題:如果庫中變數或函式有任何變化都必須重新編譯連線程式;如果多個程式引用同樣的變數/函式,則此變數/函式會在檔案/記憶體中出現多次,浪費硬碟/記憶體空間。比較兩種連線方式生成的可執行檔案的大小,可以看出有明顯的區別。
a.out 檔案格式分析
a.out 格式在不同的機器平臺和不同的 UNIX 作業系統上有輕微的不同,例如在 MC680x0 平臺上有 6 個 section。下面我們討論的是最"標準"的格式。
a.out 檔案包含 7 個 section,格式如下:
exec header(執行頭部,也可理解為檔案頭部)
text segment(文字段)
data segment(資料段)
text relocations(文字重定位段)
data relocations(資料重定位段)
symbol table(符號表)
string table(字串表)
執行頭部的資料結構:
1 2 3 4 5 6 7 8 9 10 |
struct
exec {
unsigned
long a_midmag; /* 魔數和其它資訊 */
unsigned
long a_text; /* 文字段的長度 */
unsigned
long a_data; /* 資料段的長度 */
unsigned
long a_bss; /* BSS段的長度 */
unsigned
long a_syms; /* 符號表的長度 */
unsigned
long a_entry; /* 程式進入點 */
unsigned
long a_trsize; /* 文字重定位表的長度 */
unsigned
long a_drsize; /* 資料重定位表的長度 */
};
|
檔案頭部主要描述了各個 section 的長度,比較重要的欄位是 a_entry(程式進入點),代表了系統在載入程式並初試化各種環境後開始執行程式程式碼的入口。這個欄位在後面討論的 ELF 檔案頭部中也有出現。由 a.out 格式和頭部資料結構我們可以看出,a.out 的格式非常緊湊,只包含了程式執行所必須的資訊(文字、資料、BSS),而且每個 section 的順序是固定的。這種結構缺乏擴充套件性,如不能包含"現代"可執行檔案中常見的除錯資訊,最初的 UNIX 黑客對 a.out 檔案除錯使用的工具是 adb,而 adb 是一種機器語言偵錯程式!
a.out 檔案中包含符號表和兩個重定位表,這三個表的內容在連線目標檔案以生成可執行檔案時起作用。在最終可執行的 a.out 檔案中,這三個表的長度都為 0。a.out 檔案在連線時就把所有外部定義包含在可執行程式中,如果從程式設計的角度來看,這是一種硬編碼方式,或者可稱為模組之間是強藕和的。在後面的討論中,我們將會具體看到ELF格式和動態連線機制是如何對此進行改進的。
a.out 是早期UNIX系統使用的可執行檔案格式,由 AT&T 設計,現在基本上已被 ELF 檔案格式代替。a.out 的設計比較簡單,但其設計思想明顯的被後續的可執行檔案格式所繼承和發揚。可以參閱參考資料 16 和閱讀參考資料 15 原始碼加深對 a.out 格式的理解。參考資料 12 討論瞭如何在"現代"的紅帽LINUX執行 a.out 格式檔案。
COFF 檔案格式分析
COFF 格式比 a.out 格式要複雜一些,最重要的是包含一個節段表(section table),因此除了 .text,.data,和 .bss 區段以外,還可以包含其它的區段。另外也多了一個可選的頭部,不同的作業系統可一對此頭部做特定的定義。
COFF 檔案格式如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 |
File
Header(檔案頭部)
Optional
Header(可選檔案頭部)
|