目標：

使用交叉混合編譯（hybrid cross-compiling）從原始碼編譯龍芯上的llvm/clang-3.4。之所以是混合交叉編譯而不是交叉編譯，是因為編譯的過程中，大部分程式碼是由效能較高的主體（Host）平臺編譯，而少部分程式碼是由效能較低的目標（Target）平臺編譯。混合交叉編譯採用了類似 COMET: Code Offload by Migrating Execution Transparently (OSDI’12) 的思想。其原理是，在目標平臺上配置，之後開始編譯時，將所有檔案同步到主體平臺上，並使用主體平臺的交叉編譯器編譯。當需要執行目標平臺命令（例如llvm-config

準備工作：

編譯環境：

• 主體平臺

  • CPU：Intel Xeon(R) E5620 * 16
  • OS：Ubuntu 14.04 + Linux 3.13.0
  • 編譯器：mipsel-linux-gnu-gcc-4.4/mipsel-linux-gnu-g++-4.4

• 目標平臺

  • CPU：loongson 3.2.0-4-loongson-2f, mipsel
  • OS：Debian 3.2.51
  • 編譯器： gcc-4.6.3/g++-4.6.3

預先準備

  $ mkdir <common/path/prefix>/mips3/llvm
  $ cp *-3.4
 
.src.tar.gz <common/path/prefix>/mips3/llvm
  $ cd <common/path/prefix>/mips3/llvm
  $ tar -xvf *-3.4.src.tar.gz
  $ mv clang-3.4 llvm-3.4/tools/clang
  $ rm *-3.4.src.tar.gz 

以上指令碼同時在兩個平臺上執行。其中<common/path/prefix>要求兩個平臺上的路徑名稱完全相同，這是因為./configure後的makefile中包含了使用絕對路徑的變數，因此如果路徑名稱不同，會導致編譯出錯。
3. 建立編譯器符號連結
類似的，在兩個平臺上的編譯器名稱也需要一致。本文中使用mipsel-common-g++為兩者的c++編譯器，mipsel-common-gcc為兩者的c編譯器。在主體平臺上：

 $ sudo ln -s /usr/bin/mipsel-common-g++ /usr/bin/mipsel-linux-gnu-g++
 $ sudo ln -s /usr/bin/mipsel-common-gcc /usr/bin/mipsel-linux-gnu-gcc

在目標平臺上

 $ sudo ln -s /usr/bin/mipsel-common-g++ /usr/bin/g++-4.6
 $ sudo ln -s /usr/bin/mipsel-common-gcc /usr/bin/gcc-4.6

1. 同步編譯時間
   由於不同平臺的時間和時區可能都不同，而編譯時makefile會依賴檔案時間來確定生成檔案的新舊，因此需要同步兩者的系統時間。
   
   1. 同步時區

  $ sudo dpkg-reconfigure tzdata

之後選擇asia->Shanghai，以便兩者平臺的時區一致。
2. 同步時間
只要使得兩個平臺的時間相同即可，本文中利用ntp協議使得目標平臺的時間和主體平臺的時間一致。在目標平臺執行以下程式碼：

  $ sudo sntp -s <host-ip>

或者在安裝ntp之後

  $ sudo service ntp stop
  $ sudo ntpdate -s time.nist.gov
  $ sudo service ntp start

1. 同步編譯檔案
   本文使用rsync同步主體平臺和目標平臺之間的檔案。
   
   1. 在主體平臺建立rsync配置檔案（因為主體平臺是同步伺服器）

 address = <host-ip>
 use chroot = yes
 read only = no
 pid file = /var/run/rsyncd.pid
 log file = /var/log/rsync.log
 [mips3]
 uid = <host-user-name>
 gid = <host-group-name>
 path = <common/path/prefix>/mips3
 hosts allow = <ip-mask>  #例如192.168.0.0/8
 auth users = mips3
 secrets file = /etc/rsyncd.secrets

其中/etc/rsyncd.secrets中儲存使用者名稱為mips3的密碼，內容如下

 mips3:<host-password>

此外，為了保證rsyncd可以使用，需要將/etc/rsyncd.secrets的許可權設定為600。
2. 啟動rsyncd：

 rsyncd --daemon

1. 建立同步命令rsync-commit和rsync-update分別用於將目標平臺上的程式提交到主體平臺上，以及從主體平臺上更新目標平臺上的程式。此外，建立rsync.password使用者存放密碼，以避免每次同步時輸入密碼。

 $ cat <common/path/prefix>/mips3/rsync-commit
 #!/bin/bash
 rsync --password-file=<common/path/prefix>/mips3/rsync.password -azv <common/path/prefix>/mips3/llvm [email protected]<host-ip>::mips3
 $ cat <common/path/prefix>/mips3/rsync-update
 #!/bin/bash
 rsync --password-file=<common/path/prefix>/mips3/rsync.password -azv [email protected]<host-ip>::mips3/llvm <common/path/prefix>/mips3
 $ cat <common/path/prefix>/mips3/rsync.password
 <host-password>

編譯

配置

在編譯前，需要在目標平臺上配置編譯環境：

$ cd <common/path/prefix>/mips3/llvm/llvm-3.4
$ CC=mipsel-common-gcc CXX=mipsel-common-g++ ./configure --enable-bindings=none --prefix=`pwd`/root --enable-targets=mips

開始編譯

配置完，即可開始編譯：

$ make

在出現開始編譯某個檔案時，CTRL+C終止編譯，因為在目標平臺上編譯太慢了。此時執行<common/path/prefix>/mips3/rsync-commit，將目標平臺上的編譯結果同步到主體平臺上。之後，在主體平臺上

$ make -j<n>

使用主體平臺上numa的並行性編譯。一旦主體平臺上的編譯過程中出現錯誤，立刻切換到目標平臺上

$ <common/path/prefix>/mips3/rsync-update
$ make
... # 開始編譯下一個檔案
CTRL+C
$ <common/path/prefix>/mips3/rsync-commit

來回切換50次以內，即可編譯完成。

優化編譯過程，提高編譯效率

由於頻繁CRTL+C、切換、同步非常耗時，而且是在不同平臺上的切換（不同的物理機器），因此減少切換次數可以大大提高自動化程度。

• 只配置mips
  clang預設會配置所有的目標平臺，而在配置每一種目標平臺時，都要呼叫當前目標平臺上的編譯結果。這也是需要頻繁切換的原因之一。因此在配置時加上--enable-targets=mips，只配置當前的目標平臺，減少切換次數。
• 使用主體平臺上的編譯結果
  clang在編譯可執行檔案和動態共享庫時，會呼叫llvm-config獲得當前應該連結的靜態庫。這是需要頻繁切換的原因之二。因此，將llvm-config替換成主體平臺也可以執行的、具有相同功能的llvm-config可以顯著減少切換次數。
  在主體平臺上，先使用相同的配置選項配置clang，之後會生成主體平臺上的mipsel交叉編譯clang。這裡我們用的不是交叉編譯clang，而是生成的副產品：llvm-config。在將其重新命名為llvm-config-amd64，將目標平臺上的對應檔案命名為llvm-config-mips3。在主體平臺上執行以下命令，替換原有的llvm-config，即可使用主體平臺上的編譯程式。

$ cp <path/to/llvm-config-amd64>/llvm-config-amd64 <common/path/prefix>/mips3/llvm/llvm-3.4/Release+Asserts/bin/llvm-config

• 刪去單元測試和其他測試
  刪去clang中和test、unittest相關內容，刪去llvm中test目錄，這些在編譯時都不是必要的，並且會大大增加資料的傳輸量。

安裝

$ cd <common/path/prefix>/mips3/llvm/llvm-3.4
$ make install
$ <common/path/prefix>/mips3/rsync-commit

即可將編譯好的llvm/clang安裝到<common/path/prefix>/mips3/llvm/llvm-3.4/root目錄下。

編譯完成

在目標平臺上我們來測試一個helloworld程式：

#include <iostream>

using namespace std;

int main() {
    cout << "Hello World!" << endl;
    return 0;
}

儲存並將其命名為test.cpp。使用新安裝好的clang++編譯：

$ <common/path/prefix>/mips3/llvm/llvm-3.4/root/bin/clang++ test.cpp --target=mipsel-pc-linux
$ ./a.out
Hello World!

這裡需要加上--target=mipsel-pc-linux選項。這是因為目標平臺的龍芯屬於 mipsel 體系結構，即little endianness。 而系統uname -a的結果卻是mips64。因此，llvm的配置檔案會誤認為當前平臺是mipsel64，從而生成無法執行的程式碼。