背景與概覽

Low Level Virtual Machine (LLVM) 是一個開源的編譯器架構，它已經被成功應用到多個應用領域。Clang ( 發音為 /klæŋ/) 是 LLVM 的一個編譯器前端，它目前支援 C, C++, Objective-C 以及 Objective-C++ 等程式語言。Clang 對源程式進行詞法分析和語義分析，並將分析結果轉換為 Abstract Syntax Tree ( 抽象語法樹 ) ，最後使用 LLVM 作為後端程式碼的生成器。

Clang 的開發目標是提供一個可以替代 GCC 的前端編譯器。與 GCC 相比，Clang 是一個重新設計的編譯器前端，具有一系列優點，例如模組化，程式碼簡單易懂，佔用記憶體小以及容易擴充套件和重用等。由於 Clang 在設計上的優異性，使得 Clang 非常適合用於設計原始碼級別的分析和轉化工具。Clang 也已經被應用到一些重要的開發領域，如 Static Analysis 是一個基於 Clang 的靜態程式碼分析工具。

本文將簡單介紹 Clang 的背景知識和功能特性，並通過一個小例子介紹如何使用 Clang 的庫來編寫一個小程式來統計原始碼中的函式。

Clang 的開發背景

由於 GNU 編譯器套裝 (GCC) 系統龐大，而且 Apple 大量使用的 Objective-C 在 GCC 中優先順序較低，同時 GCC 作為一個純粹的編譯系統，與 IDE 配合並不優秀，Apple 決定從零開始寫 C family 的前端，也就是基於 LLVM 的 Clang 了。Clang 由 Apple 公司開發，原始碼授權使用 BSD 的開源授權。

Clang 的特性

相比於 GCC，Clang 具有如下優點：

• 編譯速度快：在某些平臺上，Clang 的編譯速度顯著的快過 GCC。
• 佔用記憶體小：Clang 生成的 AST 所佔用的記憶體是 GCC 的五分之一左右。
• 模組化設計：Clang 採用基於庫的模組化設計，易於 IDE 整合及其他用途的重用。
• 診斷資訊可讀性強：在編譯過程中，Clang 建立並保留了大量詳細的元資料 (metadata)，有利於除錯和錯誤報告。
• 設計清晰簡單，容易理解，易於擴充套件增強。與程式碼基礎古老的 GCC 相比，學習曲線平緩。

當前 Clang 還處在不斷完善過程中，相比於 GCC, Clang 在以下方面還需要加強：

• 支援更多語言：GCC 除了支援 C/C++/Objective-C, 還支援 Fortran/Pascal/Java/Ada/Go 和其他語言。Clang 目前支援的語言有 C/C++/Objective-C/Objective-C++。
• 加強對 C++ 的支援：Clang 對 C++ 的支援依然落後於 GCC，Clang 還需要加強對 C++ 提供全方位支援。
• 支援更多平臺：GCC 流行的時間比較長，已經被廣泛使用，對各種平臺的支援也很完備。Clang 目前支援的平臺有 Linux/Windows/Mac OS。

Clang 安裝

在這一節，我們將介紹如何獲取 Clang 原始碼，編譯和安裝 Clang。編譯 Clang 要求您的系統中安裝有 C++ 編譯器 ( 如 GCC)。如果您還要編譯 Clang 的測試集，那麼您還需要事先安裝 python。

獲取原始碼

由於 Clang 是 LLVM 的一部分，並且 Clang 也用到 LLVM 的庫，我們需要先下載 LLVM，然後下載 Clang 作為 LLVM 工具的一部分。下面的例子示意瞭如何 svn 在 Linux 下獲取最新的 LLVM 和 Clang。

1 ．建立 LLVM 原始碼存放目錄 (llvm_source)

$mkdir – p llvm_source

1	$mkdir–pllvm_source

2 ．進入建立的目錄

$cd llvm_source

1	$cd llvm_source

3 ．獲取 LLVM

$svn co http://llvm.org/svn/llvm-project/llvm/trunk llvm

1	$svn co http://llvm.org/svn/llvm-project/llvm/trunk llvm

4 ．獲取 Clang

$cd llvm/tools $svn co http://llvm.org/svn/llvm-project/cfe/trunk clang

12	$cd llvm/tools$svn co http://llvm.org/svn/llvm-project/cfe/trunk clang

編譯 Clang

$cd ../../ ( 返回 llvm_source) $mkdir build ( 建立編譯的工作目錄 ) $cd build $../llvm/configure – prefix=$HOME/llvm ( 配置 LLVM，將目標安裝目錄設定為 $HOME/llvm) $make ( 以 DEBUG 模式來編譯 LLVM 和 Clang)

12345

$cd../../(返回llvm_source)$mkdir build(建立編譯的工作目錄)$cd build$../llvm/configure–prefix=$HOME/llvm(配置LLVM，將目標安裝目錄設定為$HOME/llvm)$make(以DEBUG模式來編譯LLVM和Clang)

開始使用 Clang

您可以像使用普通的編譯器一樣使用 Clang。首先你需要把 Clang 的安裝路徑加入 PATH 環境變數中。以下例子假定您使用的是 Linux 的 bash：

$ export PATH=$HOME/llvm/bin:$PATH $ export LD_LIBRARY_PATH=$HOME/llvm/lib/:$LD_LIBRARY_PATH 在本文中，我們使用一個常見的 hello world 程式來演示 Clang。在這裡我們把這個檔案命名為 test.c。它的內容如下： #include <stdio.h> int main(int argc, char **argv) { printf("hello world\n"); return 0; }

12345678910

$export PATH=$HOME/llvm/bin:$PATH$export LD_LIBRARY_PATH=$HOME/llvm/lib/:$LD_LIBRARY_PATH在本文中，我們使用一個常見的hello world程式來演示Clang。在這裡我們把這個檔案命名為test.c。它的內容如下：#include <stdio.h> intmain(intargc,char**argv){printf("hello world\n");return0;}

您可以使用任何編輯器輸入並生成這個檔案。

有了這個檔案以後，您可以試試以下命令列的命令：

$ clang --help ( 檢視幫助資訊 ) $ clang test.c -fsyntax-only ( 檢查語法和詞法正確性 ) $ clang test.c -S -emit-llvm -o test.bc ( 生成優化前的 llvm bitcode) $ clang test.c -S -emit-llvm -o test.bc -O3 ( 生成優化的 llvm bitcode) $ clang test.c -S -O3 -o test ( 生成可執行程式碼 )

12345

$clang--help(檢視幫助資訊)$clang test.c-fsyntax-only(檢查語法和詞法正確性)$clang test.c-S-emit-llvm-otest.bc(生成優化前的llvm bitcode)$clang test.c-S-emit-llvm-otest.bc-O3(生成優化的llvm bitcode)$clang test.c-S-O3-otest(生成可執行程式碼)

與 GCC 相比，Clang 的一大優點是更加清晰明確的錯誤提示。

您不妨嘗試著刪除”printf(“hello world\n”);”語句後面的分號。編譯這個程式，GCC 給出的錯誤資訊將是：

test.c: In function 'main': test.c:6:2: error: expected ';' before 'return'

12	test.c:Infunction'main':test.c:6:2:error:expected';'before'return'

而 Clang 給出的錯誤資訊則是：

test.c:5:26: error: expected ';' after expression printf("hello world.\n") ^ ;

1234	test.c:5:26:error:expected';'after expression printf("hello world.\n")^;

抽象語法樹

前面我們提到過 Clang 是一個編譯器前端，這也就是說：Clang 將目標程式進行分析，然後生成結構化的，樹狀的語法表示 , 即抽象語法樹 AST(Abstract Syntax Tree)。

例如，下面簡單的語句可以表示為語法樹（如圖 1）：

while(x <= 5) { fun(x)； }

1234	while(x<=5){fun(x)；}

圖 1. 抽象語法樹

將程式程式碼表示為抽象語法樹的一個好處是能極大方便編譯，分析和優化。比如，對於一個單純的 C++ 程式來說，重新命名一個變數就比較困難，我們不能簡單地搜尋變數名稱替換成一個新的名稱，因為這可能會改變太多。例如：不同的類或者名字空間裡也有相同名稱的變數名。將程式表示為抽象語法樹以後，替換變數名稱就會變得很簡單：我們只需要改變對應的變數宣告抽象語法樹節點的名稱欄位，然後把抽象語法樹轉換回原始碼，這是因為每個變數的定義都會對應一個獨一無二的抽象語法樹節點。

基於 Clang 的程式設計

與許多編譯器前端相比，Clang 的最大特點就是良好的結構化設計，每部分都是一個單獨的庫 (library)。也就是說您可以單獨的使用其中的一部分，來編寫自己的程式。在這裡，我們將通過一個小例子來介紹如何使用 Clang 的庫來編寫一個小程式來統計原始碼中的函式。通過這個例子，您將對於如何遍歷抽象語法樹有一個基本的概念。

BoostConASTConsumer

我們的這個小程式將基於 Clang 的一個叫做 BoostConASTConsumer 的例子，這個例子的原始碼位於：”tools/clang/lib/Frontend/BoostConAction.cpp”。

BoostConASTConsumer 的程式碼如下：

#include "clang/Frontend/FrontendActions.h" #include "clang/AST/ASTConsumer.h" #include "clang/AST/RecursiveASTVisitor.h" #include <cstdio> #include <iostream> using namespace clang; namespace { class BoostConASTConsumer : public ASTConsumer, public RecursiveASTVisitor<BoostConASTConsumer> { public: /// HandleTranslationUnit - This method is called when the /// ASTsfor entire translation unit have been parsed. virtual void HandleTranslationUnit(ASTContext &Ctx); bool VisitCXXRecordDecl(CXXRecordDecl *D) { std::cout << D->getNameAsString() << std::endl; return true; } }; } ASTConsumer *BoostConAction::CreateASTConsumer (CompilerInstance &CI, llvm::StringRef InFile) { return new BoostConASTConsumer(); } void BoostConASTConsumer::HandleTranslationUnit(ASTContext &Ctx) { fprintf(stderr, "Welcome to BoostCon!\n"); TraverseDecl(Ctx.getTranslationUnitDecl()); }

12345678910111213141516171819202122232425262728293031323334

#include "clang/Frontend/FrontendActions.h"#include "clang/AST/ASTConsumer.h"#include "clang/AST/RecursiveASTVisitor.h"#include <cstdio> #include <iostream> using namespaceclang;namespace{classBoostConASTConsumer:publicASTConsumer,publicRecursiveASTVisitor<BoostConASTConsumer>{public:/// HandleTranslationUnit - This method is called when the /// ASTsfor entire translation unit have been parsed. virtual voidHandleTranslationUnit(ASTContext&Ctx);boolVisitCXXRecordDecl(CXXRecordDecl *D){std::cout<<D->getNameAsString()<<std::endl;returntrue;}};}ASTConsumer *BoostConAction::CreateASTConsumer(CompilerInstance&CI,llvm::StringRef InFile){returnnewBoostConASTConsumer();}voidBoostConASTConsumer::HandleTranslationUnit(ASTContext&Ctx){fprintf(stderr,"Welcome to BoostCon!\n");TraverseDecl(Ctx.getTranslationUnitDecl());}

BoostConASTConsumer 是一個遍歷抽象語法樹 (AST) 的例子。當 Clang 讀入原始檔，Clang 將根據源程式的資訊構造一棵抽象語法樹。BoostConASTConsumer 就是一個 AST Consumer，提供了訪問抽象語法樹的介面。

我們可以看到：BoostConASTConsumer 是 ASTConsumer 的子類，同時也是 RecursiveASTVisitor 這個 C++ 模板的宣告。其中對 ASTConsumer 的繼承主要是過載了 HandleTranslationUnit 這個函式，這是 BoostConASTConsumer 的入口。當整個抽象語法樹 (AST) 構造完成以後，HandleTranslationUnit 這個函式將會被 Clang 的驅動程式呼叫。

在本小節中，我們將著重介紹 RecursiveASTVisitor，這是一個重要的函式模板。通過介紹這個模板，我們將向您簡單介紹遍歷抽象語法樹的一些基本概念。

RecursiveASTVisitor 是一個深度優先遍歷 AST 和訪問節點的類。對於一個已經構造好的語法樹，它將完成以下三方面的工作：

1. 遍歷 AST 的每個節點；
2. 在某一個節點，訪問這個節點的層次結構 ( 每個節點也是一個樹 )；
3. 如果某一個節點是一種型別的動態類別 ( 比如是一個子類等 )，呼叫一個使用者過載的函式來訪問這個節點；

上述工作由下面三組方法完成，分別是：

1. TraverseDecl(Decl *x) 完成工作 1，它是遍歷 AST 的入口。這個方法是用來訪問有關變數和函式的宣告。TraverseDecl 只是簡單的根據節點的型別來呼叫相應的 TraverseFoo(Foo *x)，然後遞迴訪問 x 的子節點。TraverseStmt(Stmt *x) 和 TraverseType(QualType x) 則是用來訪問一條語句和一個型別的（如結構體），它們的工作方式和 TraverseDecl 類似。
2. WalkUpFromFoo(Foo *x) 完成工作 2。它不會嘗試訪問 x 的任何子節點，而是先呼叫 WalkUpFromBar(x)，其中 Bar 是 Foo 的直接父類（除非 Foo 沒有父類）, 然後呼叫 VisitFoo(x)。
3. VisitFoo（Foo *x）完成工作 3。

上述三組方法是分層次的 (Traverse* > WalkUpFrom * > Visit*)。一個方法 ( 如 Traverse*) 可以呼叫同一層次的方法 ( 例如其他 Traverse*) 或低一層次的方法 ( 如 WalkUpFrom*)，它不能呼叫更高層次的方法。這個結構確保同樣型別的 AST 節點會被同時訪問，也就是說不會出現交替訪問不同節點的情況。

下面的虛擬碼，簡單描述了 TraverseDecl 的工作情況。假設我們有一個 AST 節點叫做 x。在入口處，TraverseDecl 將根據 x 的型別來呼叫相應的訪問函式。比如，如果節點型別是一個函式宣告，那麼將呼叫 TraverseFunctionDecl。在 TraverseFunctionDecl 中則會遞迴呼叫函式的內容，如首先訪問函式入口引數，然後訪問函式體，在訪問函式體的過程中又會呼叫 TraverseDecl 和 TraverseStmt 訪問函式體內的變數宣告和每一條語句。

switch(x->type()) { case FunctionDeclType: TraverseFunctionDecl(dyn_cast<FunctionDecl>(x)); break; case DeclType: TraverseDecl(dyn_cast<Decl>(x)); break; ... }

12345678910

switch(x->type()){caseFunctionDeclType:TraverseFunctionDecl(dyn_cast<FunctionDecl>(x));break;caseDeclType:TraverseDecl(dyn_cast<Decl>(x));break;...}

統計原始碼中的函式

明白了 BoostConASTConsumer 以後，我們就可以著手編寫一個用來統計原始碼中函式的例子了。我們所要做的工作其實很簡單，只需要過載 VisitFunctionDecl。這樣每當遇見一個函式的定義 (FunctionDecl) 的節點時，VisitFunctionDecl 將會被呼叫。

為了統計函式個數和資訊，我們加入兩個類資料成員：

int fc; // 用於統計函式個數 std::vector<FunctionDecl*> funcs; // 用於記錄已經遍歷的函式 然後我們在 VisitFunctionDecl 裡統計函式資訊： bool VisitFunctionDecl(FunctionDecl *D) { if (D->isThisDeclarationADefinition()) // 只關心提供了定義的函式 //（忽略只有宣告而沒有在源代 // 碼中出現定義的函式） { fc++; funcs.push_back(D->getNameAsString());// 獲取函式名並儲存到 funcs } return true; }

12345678910111213141516

intfc;// 用於統計函式個數std::vector<FunctionDecl*>funcs;// 用於記錄已經遍歷的函式然後我們在VisitFunctionDecl裡統計函式資訊：boolVisitFunctionDecl(FunctionDecl *D){if(D->isThisDeclarationADefinition())// 只關心提供了定義的函式//（忽略只有宣告而沒有在源代    // 碼中出現定義的函式）{fc++;funcs.push_back(D->getNameAsString());// 獲取函式名並儲存到 funcs }returntrue;}

由於 HandleTranslationUnit 是函式的入口，因此我們在 HandleTranslationUnit 對變數 fc 進行初始化：

fc = 0;

1

fc=0;

最後，我們在解構函式裡列印統計資訊：

~BoostConASTConsumer() { std::cout << "I have seen " << fc << " functions. \ They are: " <<endl; for (unsigned i=0; i<funcs.size(); i++) { std::cout << funcs[i] << endl; } }

12345678

~BoostConASTConsumer(){std::cout<<"I have seen "<<fc<<" functions. \ They are: "<<endl;for(unsignedi=0;i<funcs.size();i++){std::cout<<funcs[i]<<endl;}}

編譯