Google的分散式深度學習框架TensorFlow出來也有一段時間了。筆者在TensorFlow最初放出時就跟進，不過當時其視訊記憶體管理優化不到位，最後放棄（改用mxnet了，是一個相當不錯的深度學習框架）。
最近，TensorFlow 0.8.0放出，同時開放了分散式學習能力。為此，筆者重新編譯安裝TensroFlow，打算對其效能做一些測試。
筆者的生產環境控制比較嚴格，開發人員不具有root許可權。另一方面，生產環境比較老了，編譯器的版本不夠。在這種情況下編譯安裝TensorFlow還是比較繁瑣的。尤其是bazel，總是不能對環境變數的變化做出匹配，導致安裝過程受阻。
經過一番折騰，摸索出一套編譯安裝方法，記錄在案。

1. 環境準備

筆者的系統環境:

Linux version 2.6.32-279.el6.x86_64 ([email protected]008.build.bos.redhat.com) (gcc version 4.4.6 20120305 (Red Hat 4.4.6-4) (GCC) )

首先搭建目錄結構。

mkdir usr

使用如下的環境變數配置，注意這裡包含了cuda和cudnn的路徑，不過這次安裝並沒有編譯安裝gpu版本。gpu版本的安裝還有一些麻煩事要做，留待下次再記錄吧。

export HOME=...#home資料夾的位置
export HOME_USR=$HOME
 
/usr

export CUDA_HOME=$HOME/cuda
export CUDNN_HOME=$HOME/cudnn
export JAVA_HOME=$HOME/jdk1.8.0_65

export PATH=$HOME/bazel_bin:$HOME_USR/bin:$CUDA_HOME/bin:$PATH
export CPATH=$HOME_USR/include:$CUDA_HOME/include:$CUDNN_HOME
export C_INCLUDE_PATH=$CPATH
export CPLUS_INCLUDE_PATH=$CPATH
export LIBRARY_PATH=$HOME_USR
 
/lib:$HOME_USR/lib64:$CUDA_HOME/lib64:$CUDA_HOME/lib64:$CUDNN_HOME
export LD_LIBRARY_PATH=$LIBRARY_PATH

export LD_RUN_PATH=$LIBRARY_PATH
export COMPILER_PATH=$PATH
export CC=gcc
export CXX=g++

export PKG_CONFIG_PATH=$HOME_USR/lib/pkgconfig:$PKG_CONFIG_PATH

目前gcc的版本太低，先編譯安裝gcc 4.8.4。
首先準備好以下原始檔包。

gmp-4.3.2.tar.bz2
mpfr-2.4.2.tar.bz2
mpc-0.8.1.tar.gz
libffi-3.2.1.tar.gz
gcc-4.8.4.tar.bz2

上述版本不一定必須一致，但安裝過程應該是大同小異。
整個安裝指令碼如下：

echo "gmp first"
tar xvf ./gmp-4.3.2.tar.bz2
cd ./gmp-4.3.2
./configure --prefix=$HOME_USR
make -j 20
make install
make check #### IMPORTANT
cd -

echo "mpfr second"
tar xvf ./mpfr-2.4.2.tar.bz2
cd ./mpfr-2.4.2
./configure --prefix=$HOME_USR
make -j 20
make install
cd -

echo "mpc third"
tar xvf ./mpc-0.8.1.tar.gz
cd ./mpc-0.8.1
./configure --prefix=$HOME_USR
make -j 20
make install
cd -

echo "libffi fourth"
tar xvf ./libffi-3.2.1.tar.gz
cd ./libffi-3.2.1
./configure --prefix=$HOME_USR
make -j 20
make install
cd -

echo "gcc"
tar xvf ./gcc-4.8.4.tar.bz2
cd ./gcc-4.8.4
mkdir build
cd build
../configure --prefix=$HOME_USR --mandir=$HOME_USR/share/man --infodir=$HOME_USR/share/info -enable-checking -enable-languages=c,c++,fortran -disable-multilib --enable-bootstrap --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-gnu-unique-object --enable-languages=c,c++,fortran --disable-dssi --with-ppl --with-cloog --with-tune=generic --with-arch_32=i686 --build=x86_64-redhat-linux
make -j 20
make install

然後是python 2.7.9，順便把pip也安裝上，方便python庫的安裝。準備好下面的原始檔包：

Python-2.7.9.tgz
pip-7.1.0.tar.gz
setuptools-18.1.tar.gz
wheel-0.26.0.tar.gz

整個安裝指令碼如下：

echo "python"
tar xvf ./Python-2.7.9.tgz
cd ./Python-2.7.9/
./configure --prefix=$HOME_USR --enable-shared
make -j 20
make install
cd -

echo "setuptools"
tar xvf ./setuptools-18.1.tar.gz
cd ./setuptools-18.1
python setup.py build
python setup.py install
cd -

echo "pip"
tar xvf ./pip-7.1.0.tar.gz
cd ./pip-7.1.0
python setup.py build
python setup.py install
cd -

echo "wheel"
tar xvf ./wheel-0.26.0.tar.gz
cd wheel-0.26.0
python setup.py build
python setup.py install
cd -

安裝一下OpenBLAS。獲取OpenBLAS原始碼。然後：

make -j 20
make PREFIX=$HOME_USR install

下面是numpy。為了方便還安裝了ipython，這個不是必須的。在OpenBLAS之後再安裝numpy，否則numpy就無法利用OpenBLAS的加速能力。

pip install numpy
pip install ipython

可以選擇安裝一個VirtualEnv。直接用pip就行了。這裡就不安裝了。
Bazel還需要一個jdk 1.8.0，直接去官網下載即可。注意到上面已經再環境變數中設定了JAVA_HOME的路徑。

2.Bazel

沒有root許可權要編譯安裝bazel，有一些麻煩。筆者使用了下面這種比較hack的方法。不知道有沒有更好的方法可以解決此問題。
首先要做如下準備：

mkdir $HOME/bazel_bin

注意到之前已經把bazel_bin寫入環境變量了。在上述資料夾中新增以下幾個檔案。

cpp_bazel
gcc_bazel
gcov_bazel
python_bazel

其內容分別如下。

# cpp_bazel
export HOME=...#home資料夾的位置 ;
export HOME_USR=$HOME/usr ;
export CUDA_HOME=$HOME/cuda ;
export CUDNN_HOME=$HOME/cudnn ;
export JAVA_HOME=$HOME/jdk1.8.0_65 ;
export PATH=$HOME/bazel_bin:$HOME_USR/bin:$CUDA_HOME/bin:$PATH ;
export CPATH=$HOME_USR/include:$CUDA_HOME/include:$CUDNN_HOME ;
export C_INCLUDE_PATH=$CPATH ;
export CPLUS_INCLUDE_PATH=$CPATH ;
export LIBRARY_PATH=$HOME_USR/lib:$HOME_USR/lib64:$CUDA_HOME/lib64:$CUDA_HOME/lib64:$CUDNN_HOME ;
export LD_LIBRARY_PATH=$LIBRARY_PATH ;
export LD_RUN_PATH=$LIBRARY_PATH ;
export COMPILER_PATH=$PATH ;
export CC=gcc ;
export CXX=g++ ;
export PKG_CONFIG_PATH=$HOME_USR/lib/pkgconfig:$PKG_CONFIG_PATH ;
$HOME_USR/bin/cpp [email protected]

# gcc_bazel
export HOME=...#home資料夾的位置 ;
export HOME_USR=$HOME/usr ;
export CUDA_HOME=$HOME/cuda ;
export CUDNN_HOME=$HOME/cudnn ;
export JAVA_HOME=$HOME/jdk1.8.0_65 ;
export PATH=$HOME/bazel_bin:$HOME_USR/bin:$CUDA_HOME/bin:$PATH ;
export CPATH=$HOME_USR/include:$CUDA_HOME/include:$CUDNN_HOME ;
export C_INCLUDE_PATH=$CPATH ;
export CPLUS_INCLUDE_PATH=$CPATH ;
export LIBRARY_PATH=$HOME_USR/lib:$HOME_USR/lib64:$CUDA_HOME/lib64:$CUDA_HOME/lib64:$CUDNN_HOME ;
export LD_LIBRARY_PATH=$LIBRARY_PATH ;
export LD_RUN_PATH=$LIBRARY_PATH ;
export COMPILER_PATH=$PATH ;
export CC=gcc ;
export CXX=g++ ;
export PKG_CONFIG_PATH=$HOME_USR/lib/pkgconfig:$PKG_CONFIG_PATH ;
$HOME_USR/bin/gcc [email protected]

# gcov_bazel
export HOME=...#home資料夾的位置 ;
export HOME_USR=$HOME/usr ;
export CUDA_HOME=$HOME/cuda ;
export CUDNN_HOME=$HOME/cudnn ;
export JAVA_HOME=$HOME/jdk1.8.0_65 ;
export PATH=$HOME/bazel_bin:$HOME_USR/bin:$CUDA_HOME/bin:$PATH ;
export CPATH=$HOME_USR/include:$CUDA_HOME/include:$CUDNN_HOME ;
export C_INCLUDE_PATH=$CPATH ;
export CPLUS_INCLUDE_PATH=$CPATH ;
export LIBRARY_PATH=$HOME_USR/lib:$HOME_USR/lib64:$CUDA_HOME/lib64:$CUDA_HOME/lib64:$CUDNN_HOME ;
export LD_LIBRARY_PATH=$LIBRARY_PATH ;
export LD_RUN_PATH=$LIBRARY_PATH ;
export COMPILER_PATH=$PATH ;
export CC=gcc ;
export CXX=g++ ;
export PKG_CONFIG_PATH=$HOME_USR/lib/pkgconfig:$PKG_CONFIG_PATH ;
$HOME_USR/bin/gcov [email protected]

# python_bazel
export HOME=...#home資料夾的位置 ;
export HOME=/data/rd/tensor_flow_portable ;
export HOME_USR=$HOME/usr ;
export CUDA_HOME=$HOME/cuda ;
export CUDNN_HOME=$HOME/cudnn ;
export JAVA_HOME=$HOME/jdk1.8.0_65 ;
export PATH=$HOME/bazel_bin:$HOME_USR/bin:$CUDA_HOME/bin:$PATH ;
export CPATH=$HOME_USR/include:$CUDA_HOME/include:$CUDNN_HOME ;
export C_INCLUDE_PATH=$CPATH ;
export CPLUS_INCLUDE_PATH=$CPATH ;
export LIBRARY_PATH=$HOME_USR/lib:$HOME_USR/lib64:$CUDA_HOME/lib64:$CUDA_HOME/lib64:$CUDNN_HOME ;
export LD_LIBRARY_PATH=$LIBRARY_PATH ;
export LD_RUN_PATH=$LIBRARY_PATH ;
export COMPILER_PATH=$PATH ;
export CC=gcc ;
export CXX=g++ ;
export PKG_CONFIG_PATH=$HOME_USR/lib/pkgconfig:$PKG_CONFIG_PATH ;
$HOME_USR/bin/python2 [email protected]

以上是第一個比較hack的地方。目前還沒有找到更好的解決辦法。
獲取Bazel的原始碼。這裡建議獲取github上的release包而不是直接clone程式碼。

bazel_0.2.1.tar.gz

解壓後需要更改CROSSBUILD，這裡承接上面的hack工作。
修改下面的檔案：

bazel-0.2.1/tools/cpp/CROSSTOOL

尋找以下程式碼塊：

toolchain {
  abi_version: "local"
  ...
  toolchain_identifier: "local_linux"
  ...
  }

以下用[HOME]代表$HOME路徑，注意這裡需要用絕對路徑。
把

tool_path { name: "cpp" path: "/usr/bin/cpp" }

改為

tool_path { name: "cpp" path: "[HOME]/bazel_bin/cpp_bazel" }

把

tool_path { name: "gcc" path: "/usr/bin/gcc" }

改為

tool_path { name: "gcc" path: "[HOME]/bazel_bin/gcc_bazel" }

在

linker_flag: "-B/usr/bin/"

下面增加兩行：

linker_flag: "-B[HOME]/usr/bin/"
linker_flag: "-B[HOME]/bazel_bin/"

再往下把

cxx_builtin_include_directory: "/usr/lib/gcc/"

替換為

cxx_builtin_include_directory: "[HOME]/usr/lib/gcc/"
cxx_builtin_include_directory: "[HOME]/usr/include"

最後把

tool_path { name: "gcov" path: "/usr/bin/gcov" }

替換為

tool_path { name: "gcov" path: "[HOME]/bazel_bin/gcov_bazel" }

如此修改完成後，開始編譯

cd bazel-0.2.1
./compile.sh

如果編譯失敗，最好每次都把/tmp/bazel.****刪除再重新編譯。
最後，建立一個軟連結方便bazel的使用：

ln -s 原始碼所在目錄絕對路徑/bazel-0.2.1/output/bazel ~/bazel_bin/bazel

使用

bazel version

檢查是否安裝成功。

3. TensorFlow CPU

有了上面關於Bazel的hack之後，TensorFlow CPU的編譯相對簡單。不過TensorFlow GPU的編譯還需要其他的hack，這個之後再記錄。
建議去github上直接獲取最新的原始碼：

git clone --recursive https://github.com/tensorflow/tensorflow.git

接下來需要改變檔案

tensorflow/tensorflow.bzl

找到函式

tf_extension_linkopts

把

return []

改為

return ["-lrt"]

下面可以基本上按照官網的指示編譯安裝了。

./configure

注意，這裡不能選擇支援GPU。更改了預設的環境變數，要編譯安裝GPU支援的TensorFlow，還需要更多的hack。

bazel build -c opt //tensorflow/tools/pip_package:build_pip_package
bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
pip install /tmp/tensorflow_pkg/tensorflow-0.8.0-py2-none-any.whl

可以用執行一個mnist訓練測試TensorFlow是否安裝成功

cd tensorflow/models/image/mnist
python convolutional.py