基於TensorFlow的深度學習系列教程 1——Hello World!
最近看到一份不錯的深度學習資源——Stanford中的CS20SI：《TensorFlow for Deep Learning Research》，正好跟著學習一下TensorFlow的基礎，還是收穫頗豐，隨手整理成部落格隨時翻閱。
為什麼選擇TensorFlow?
自從12年AlexNet獲得ImageNet大賽的冠軍後，深度學習開始流行起來，也因為硬體的快速發展GPU平行計算配合易用的API，讓深度學習以及神經網路大放光彩。
深度學習的框架其實有很多，目前來說最火的還要數Pytorch、TensorFlow以及Keras。其中Pytorch比較適合學術研究，自己搞著玩，如果工業實踐就不太適合了。TensorFlow由於時間比較久，學起來比較困難，不過有完整的開發、部署方案，還有大量的github專案可供參考。Keras則是TensorFlow的一個高階API，同類的還有TensorFlow的TFLearn等等。
總結來說，如果你是學生，只是為了論文或者學習，那麼推薦Pytorch；如果你是公司的開發者，想要在業務中使用深度學習，推薦直接使用TensorFlow，如果使用最新的1.12，那麼官方的示例裡面就已經是Keras了；如果你是從github上面下載了原始碼想要學習，那就得去學習對應版本的TensorFlow API了。
在總結一下Tensoflow的優點：
- 易用性：有對應Python的API
- 可移植性：一套程式碼就可以適應單個或者多個CPU、GPU、移動裝置等
- 靈活性：可以部署在樹莓派、安卓、windows、ios、linux等上
- 視覺化：有tensorboard提供開發的視覺化介面，方便跟蹤調參
- 檢查點：可以通過檢查點記錄儲存實驗資料
- 這個不理解什麼意思：Auto-differentiation autodiff (no more taking derivatives by hand. Yay)
- 龐大的社群：一年內擁有10000+的開發者，3000+的專案
- 大量基於TensorFlow的專案程式碼
使用TensorFlow的公司包括：Google，OpenAI，DeepMind，SnapChat，Airbus，eBay等
基於TensorFlow可以做很多事情，比如影象CV、自然語言處理NLP、語音識別等等。
基礎知識
1. 簡化的API
下面就來學習下TensorFlow的基礎知識，TensorFlow不僅提供了基礎的語法，還提供了一些簡化的API：
- TF Learn，tf.contrib.learn，基於scikit-learn風格的API
- TF Slim，tf.contrib.slim，輕量級的tf構建API，可以自動配置預設值，簡化使用
- Keras，更高階更抽象的API，使用Keras之後，就像疊積木一樣建立模型，不過對於背後的原理隱藏的太深太深...
2. 資料流圖
如果做過大資料或者接觸過java8的流計算，對這種資料流圖應該比較瞭解。就是我們在程式執行前，先構建好計算的流程框架，然後執行的時候現去讀取資料分配資源執行計算。這樣一方面把構建與計算分離，另一方面也可以程式碼自己做更深的優化。
比如上面的資料流圖中，事先定義好整個網路的結構，然後計算的時候直接傳入5和3，就能得到結果23了。
3. Tensor張量
張量，不是張亮，更不是麻辣燙，它是一種高維資料的統稱。比如：
- 0維的張量，我們也叫做標量scalar或者數字，
- 1維的張量，叫做向量vector
- 2維的張量，叫做矩陣matrix
因此TensorFlow，可以理解為Tensor+Flow，即張量的資料流。
4. 資料流圖的例子
import tensorflow as tf
# 第一個例子，計算兩個數的加法
a = tf.constant(2)
b = tf.constant(3)
x = tf.add(a, b)
with tf.Session() as sess:
print(sess.run(x))在上面的程式碼中，就構建了一個最基本的資料流圖的計算例子。
其中
a = tf.constant(2)
b = tf.constant(3)
x = tf.add(a, b)就是在構建圖。而想要拿到x的值，就必須新建一個session（這個時候才會分配資源），執行run方法（這個時候才會執行）。
5. tensorboard的使用
為了方便檢視構建圖，需要學會怎麼使用TensorBoard。在上面的程式碼中，只需要增加Tensorboard的宣告即可：
import tensorflow as tf
# 第一個例子，計算兩個數的加法
a = tf.constant(2)
b = tf.constant(3)
x = tf.add(a, b)
with tf.Session() as sess:
writer = tf.summary.FileWriter('./graphs', sess.graph)
print(sess.run(x))
writer.close()然後在命令列中輸入
tensorboard --logdir=/Users/xingoo/PycharmProjects/xxx/graphs登入localhost:6006就可以看到下面的內容。
可以看到左邊有描述每個節點的意思，點選add後，可以到關於add節點的描述。由於構建的圖很簡單，就是兩個數相加，因此整個圖只有三個圈圈。並且按照預設的操作進行了命名。
6. 更復雜點的例子
增加以下圖的複雜度，並且同時對兩個結果計算：
import tensorflow as tf
# tf.constant(value, dtype=None, shape=None, name='Const', verify_shape=False)
a = tf.constant([1, 3], name="a")
b = tf.constant([[0, 1], [2, 3]], name="b")
x = tf.add(a, b, name="add")
y = tf.multiply(a, b, name="mul")
with tf.Session() as sess:
writer = tf.summary.FileWriter('./graphs', sess.graph)
x, y = sess.run([x, y])
print(x)
print(y)
writer.close()由於x、y是獨立運算沒有什麼交集，因此在圖中，他們是獨立的兩個操作。
7. 關於圖
回頭再來看看tensorFlow中的圖到底是什麼呢？當使用第5部分中的程式碼構建graph時，可以直接輸出graph的定義：
import tensorflow as tf
a = tf.constant(2)
b = tf.constant(3)
x = tf.add(a, b)
with tf.Session() as sess:
print(sess.graph.as_graph_def())得到如下的內容：
node {
name: "Const"
op: "Const"
attr {
key: "dtype"
value {
type: DT_INT32
}
}
attr {
key: "value"
value {
tensor {
dtype: DT_INT32
tensor_shape {
}
int_val: 2
}
}
}
}
node {
name: "Const_1"
op: "Const"
attr {
key: "dtype"
value {
type: DT_INT32
}
}
attr {
key: "value"
value {
tensor {
dtype: DT_INT32
tensor_shape {
}
int_val: 3
}
}
}
}
node {
name: "Add"
op: "Add"
input: "Const"
input: "Const_1"
attr {
key: "T"
value {
type: DT_INT32
}
}
}
versions {
producer: 26
}每個node基本都包含下面你的內容：
{
name：我們自己起的名字，如果沒有則是op+自增的數,
op：操作
attr: 型別
attr：值 {
形狀、初始值
}
}通過上面的json，就能完美的組合出web中看到的圖了。
至於graph到底怎麼用，就看後面一節課的內容吧。