深度學習及TensorFlow簡介

深度學習目前已經被應用到影象識別，語音識別，自然語言處理，機器翻譯等場景並取得了很好的行業應用效果。至今已有數種深度學習框架，如TensorFlow，Caffe、Theano、Torch、MXNet，能夠支援深度神經網路、卷積神經網路、深度信念網路和遞迴神經網路等模型。TensorFlow最初由Google Brain團隊的研究員和工程師研發，目前已成為GitHub上最受歡迎的機器學習專案。

TensorFlow開源一週年以來，已有500+contributors，以及11000+個commits。目前採用TensorFlow平臺，在生產環境下進行深度學習的公司有ARM、Google、UBER、DeepMind、京東等公司。目前谷歌已把TensorFlow應用到很多內部專案，如谷歌語音識別，GMail，谷歌圖片搜尋等。TensorFlow主要特性有：

• 使用靈活：TensorFlow是一個靈活的神經網路學習平臺，採用圖計算模型，支援High-Level的API，支援Python、C++、Go、Java介面。

• 跨平臺：TensorFlow支援CPU和GPU的運算，支援桌上型電腦、伺服器、移動平臺的計算。並從r0.12版本支援Windows平臺。

• 產品化：TensorFlow支援從研究團隊快速遷移學習模型到生產團隊。實現了研究團隊釋出模型，生產團隊驗證模型，構建起了模型研究到生產實踐的橋樑。

• 高效能：TensorFlow中採用了多執行緒，佇列技術以及分散式訓練模型，實現了在多CPU、多GPU的環境下分散式訓練模型。

本文主要介紹TensorFlow一些關鍵技術的使用實踐，包括TensorFlow變數、TensorFlow應用架構、TensorFlow視覺化技術、GPU使用、以及HDFS整合使用。

TensorFlow變數

TensorFlow中的變數在使用前需要被初始化，在模型訓練中或訓練完成後可以儲存或恢復這些變數值。下面介紹如何建立變數，初始化變數，儲存變數，恢復變數以及共享變數。

#建立模型的權重及偏置
weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35), name="weights")
biases = tf.Variable(tf.zeros([200]), name="biases")

#指定變數所在裝置為CPU:0
with tf.device("/cpu:0"):
  v = tf.Variable
 
(...)

#初始化模型變數
init_op = tf.global_variables_initializer()
sess=tf.Session()
sess.run(init_op)

#儲存模型變數，由三個檔案組成model.data，model.index，model.meta
saver = tf.train.Saver()
saver.restore(sess, "/tmp/model")

#恢復模型變數
saver.restore(sess, "/tmp/model")

在複雜的深度學習模型中，存在大量的模型變數，並且期望能夠一次性地初始化這些變數。TensorFlow提供了tf.variable_scope和tf.get_variable兩個API，實現了共享模型變數。tf.get_variable(, , )：表示建立或返回指定名稱的模型變數，其中name表示變數名稱，shape表示變數的維度資訊，initializer表示變數的初始化方法。tf.variable_scope()：表示變數所在的名稱空間，其中scope_name表示名稱空間的名稱。共享模型變數使用示例如下：

#定義卷積神經網路運算規則，其中weights和biases為共享變數
def conv_relu(input, kernel_shape, bias_shape):
    # 建立變數"weights".
    weights = tf.get_variable("weights", kernel_shape, initializer=tf.random_normal_initializer())
    # 建立變數 "biases".
    biases = tf.get_variable("biases", bias_shape, initializer=tf.constant_initializer(0.0))
    conv = tf.nn.conv2d(input, weights, strides=[1, 1, 1, 1], padding='SAME')
    return tf.nn.relu(conv + biases)

#定義卷積層，conv1和conv2為變數名稱空間
with tf.variable_scope("conv1"):
    # 建立變數 "conv1/weights", "conv1/biases".
    relu1 = conv_relu(input_images, [5, 5, 32, 32], [32])
with tf.variable_scope("conv2"):
    # 建立變數 "conv2/weights", "conv2/biases".
    relu1 = conv_relu(relu1, [5, 5, 32, 32], [32])

TensorFlow應用架構

TensorFlow的應用架構主要包括模型構建，模型訓練，及模型評估三個方面。模型構建主要指構建深度學習神經網路，模型訓練主要指在TensorFlow會話中對訓練資料執行神經網路運算，模型評估主要指根據測試資料評估模型精確度。如下圖所示：

網路模型，損失方程，模型訓練操作定義示例如下：

#兩個隱藏層，一個logits輸出層
hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)
hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)
logits = tf.matmul(hidden2, weights) + biases

#損失方程，採用softmax交叉熵演算法
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits( logits, labels, name='xentropy')
loss = tf.reduce_mean(cross_entropy, name='xentropy_mean')

#選定優化演算法及定義訓練操作
optimizer = tf.train.GradientDescentOptimizer(learning_rate)
global_step = tf.Variable(0, name='global_step', trainable=False)
train_op = optimizer.minimize(loss, global_step=global_step)

模型訓練及模型驗證示例如下：
#載入訓練資料，並執行網路訓練
for step in xrange(FLAGS.max_steps):
    feed_dict = fill_feed_dict(data_sets.train, images_placeholder, labels_placeholder)
    _, loss_value = sess.run([train_op, loss], feed_dict=feed_dict)

#載入測試資料，計算模型精確度
for step in xrange(steps_per_epoch):
    feed_dict = fill_feed_dict(data_set, images_placeholder, labels_placeholder)
    true_count += sess.run(eval_correct, feed_dict=feed_dict)

TensorFlow視覺化技術

規模的深度神經網路運算模型是非常複雜的，並且不容易理解運算過程。為了易於理解、除錯及優化神經網路運算模型，資料科學家及應用開發人員可以使用TensorFlow視覺化元件：TensorBoard。TensorBoard主要支援TensorFlow模型視覺化展示及統計資訊的圖表展示。TensorBoard應用架構如下：

TensorFlow視覺化技術主要分為兩部分：TensorFlow摘要模型及TensorBoard視覺化元件。在摘要模型中，需要把模型變數或樣本資料轉換為TensorFlow summary操作，然後合併summary操作，最後通過Summary Writer操作寫入TensorFlow的事件日誌。TensorBoard通過讀取事件日誌，進行相關摘要資訊的視覺化展示，主要包括：Scalar圖、圖片資料視覺化、聲音資料展示、圖模型視覺化，以及變數資料的直方圖和概率分佈圖。TensorFlow視覺化技術的關鍵流程如下所示：

#定義變數及訓練資料的摘要操作
tf.summary.scalar('max', tf.reduce_max(var))
tf.summary.histogram('histogram', var)
tf.summary.image('input', image_shaped_input, 10)

#定義合併變數操作，一次性生成所有摘要資料
merged = tf.summary.merge_all()

#定義寫入摘要資料到事件日誌的操作
train_writer = tf.train.SummaryWriter(FLAGS.log_dir + '/train', sess.graph)
test_writer = tf.train.SummaryWriter(FLAGS.log_dir + '/test')

#執行訓練操作，並把摘要資訊寫入到事件日誌
summary, _ = sess.run([merged, train_step], feed_dict=feed_dict(True))
train_writer.add_summary(summary, i)

  #從https://github.com/tensorflow/tensorflow/blob/r0.12/tensorflow/examples/tutorials/mnist/mnist_with_summaries.py下載示例code，並執行模型訓練
  python mnist_with_summaries.py

#啟動TensorBoard，TensorBoard的UI地址為http://ip_address:6006
tensorboard --logdir=/path/to/log-directory

TensorBoard Scalar圖如下所示，其中橫座標表示模型訓練的迭代次數，縱座標表示該標量值，例如模型精確度，熵值等。TensorBoard支援這些統計值的下載。

TensorFlow Image摘要資訊如下圖所示，該示例中顯示了測試資料和訓練資料中的手寫數字圖片。

TensorFlow圖模型如下圖所示，可清晰地展示模型的訓練流程，其中的每個方框表示變數所在的名稱空間。包含的名稱空間有input（輸入資料），input_reshape（矩陣變換，用於圖形化手寫數字）, layer1（隱含層1）, layer2（隱含層2）, dropout（丟棄一些神經元，防止過擬合）, accuracy（模型精確度）, cross_entropy（目標函式值，交叉熵）, train（訓練模型）。例如，input名稱空間操作後的tensor資料會傳遞給input_reshape，train，accuracy，layer1，cross_entropy名稱空間中的操作。

TensorFlow變數的概率分佈如下圖所示，其中橫座標為迭代次數，縱座標為變數取值範圍。圖表中的線表示概率百分比，從高到底為[maximum, 93%, 84%, 69%, 50%, 31%, 16%, 7%, minimum]。例如，圖表中從高到底的第二條線為93%，對應該迭代下有93%的變數權重值小於該線對應的目標值。

上述TensorFlow變數概率分佈對應的直方圖如下圖所示：

TensorFlow GPU使用

GPU裝置已經廣泛地應用於影象分類，語音識別，自然語言處理，機器翻譯等深度學習領域，並實現了開創性的效能改進。與單純使用CPU相比，GPU 具有數以千計的計算核心、可實現 10-100 倍的效能提升。TensorFlow支援GPU運算的版本為tensorflow-gpu，並且需要先安裝相關軟體：GPU運算平臺CUDA和用於深度神經網路運算的GPU加速庫CuDNN。在TensorFlow中，CPU或GPU的表示方式如下所示：

“/cpu:0”：表示機器中第一個CPU。
“/gpu:0”：表示機器中第一個GPU卡。
“/gpu:1”：表示機器中第二個GPU卡。

TensorFlow中所有操作都有CPU和GPU運算的實現，預設情況下GPU運算的優先順序比CPU高。如果TensorFlow操作沒有指定在哪個裝置上進行運算，預設會優選採用GPU進行運算。下面介紹如何在TensorFlow使用GPU：

# 定義使用gpu0執行a*b的矩陣運算，其中a，b，c都在gpu0上執行
with tf.device('/gpu:0'):
  a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
  b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
  c = tf.matmul(a, b)

# 通過log_device_placement指定在日誌中輸出變數和操作所在的裝置
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
print sess.run(c)

本實驗環境下只有一個GPU卡，裝置的Device Mapping及變數操作所在裝置位置如下：

#裝置的Device Mapping
/job:localhost/replica:0/task:0/gpu:0 -> device: 0, name: Tesla K20c, pci bus id: 0000:81:00.0

#變數操作所在裝置位置
a: (Const): /job:localhost/replica:0/task:0/gpu:0
b: (Const): /job:localhost/replica:0/task:0/gpu:0
(MatMul)/job:localhost/replica:0/task:0/gpu:0

預設配置下，TensorFlow Session會佔用GPU卡上所有記憶體。但TesnorFlow提供了兩個GPU記憶體優化配置選項。 config.gpu_options.allow_growth：根據程式執行情況，分配GPU記憶體。程式開始的時候分配比較少的記憶體，隨著程式的執行，增加記憶體的分配，但下不會釋放已經分配的記憶體。config.gpu_options.per_process_gpu_memory_fraction：表示按照百分比分配GPU記憶體，例如0.4表示分配40%的GPU記憶體。示例程式碼如下：

#定義TensorFlow配置
config = tf.ConfigProto()
#配置GPU記憶體分配方式
#config.gpu_options.allow_growth = True
#config.gpu_options.per_process_gpu_memory_fraction = 0.4
session = tf.Session(config=config, ...)

TensorFlow與HDFS整合使用

HDFS是一個高度容錯性的分散式系統，能提供高吞吐量的資料訪問，非常適合大規模資料集上的應用。TensorFlow與HDFS整合示例如下：

#配置JAVA和HADOOP環境變數
source $HADOOP_HOME/libexec/hadoop-config.sh
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_HOME/jre/lib/amd64/server
#執行TensorFlow執行模型
CLASSPATH=$($HADOOP_HDFS_HOME/bin/hadoop classpath --glob) python tensorflow_model.py

#在TensorFlow模型中定義檔案的讀取佇列
filename_queue = tf.train.string_input_producer(["hdfs://namenode:8020/path/to/file1.csv", "hdfs://namenode:8020/path/to/file2.csv"])

#從檔案中讀取一行資料，value為所對應的行資料
reader = tf.TextLineReader()
key, value = reader.read(filename_queue)

# 把讀取到的value值解碼成特徵向量，record_defaults定義解碼格式及對應的資料型別
record_defaults = [[1], [1], [1], [1], [1]]
col1, col2, col3, col4, col5 = tf.decode_csv(value, record_defaults=record_defaults)
features = tf.pack([col1, col2, col3, col4])

with tf.Session() as sess:
  # 定義同步物件，並啟動相應執行緒把HDFS檔名插入到佇列
  coord = tf.train.Coordinator()
  threads = tf.train.start_queue_runners(coord=coord)

  for i in range(1200):
    # 從檔案佇列中讀取一行資料
    example, label = sess.run([features, col5])

  #請求停止佇列的相關執行緒（包括進隊及出隊執行緒）
  coord.request_stop()
  #等待佇列中相關執行緒結束（包括進隊及出隊執行緒）
  coord.join(threads)

作者簡介： 武維（[email protected]）, 博士，現為IBM Spectrum Computing 研發工程師。主要從事大資料，深度學習，雲端計算等領域的研發工作。