TF基本

import tensorflow as tf

Tensorflow對於機器學習模型的實現分為兩個階段：
1. 構建階段：搭建計算模型
2. 計算階段：執行計算

舉個簡單示例，我們要計算一個函式f=x2y+y+2$f=x^{2}y+y+2$，首先需要將這個計算模型搭建起來。

Tensorflow本身提供了視覺化的套件叫做Tensorboard，在模型搭建之前，我們先將Tensorboard設定好。

from datetime import datetime

now=datetime.utcnow().strftime("%Y%m%d%H%M%S")
root_logdir="tf_logs"
 
       #設定根目錄為當前目錄下的tf_logs資料夾
logdir="{}/run-{}/".format(root_logdir,now)     #資料夾名加入時間戳

模型的搭建包括：
- 變數的設定與初始值設定
- 變數之間的運算關係

tf.reset_default_graph()        #重置圖

x=tf.Variable(1,name="x")   #初始值為1,名為"x"的變數
y=tf.Variable(2,name="y")   #初始值為2,名為"y"的變數
f=x*x*y+y+2     #變數間的運算關係

file_writer=tf.summary
 
.FileWriter(logdir,tf.get_default_graph())        #將預設圖寫入檔案

然後啟動一個會話，在會話中進行計算：

with tf.Session() as sess:
    x.initializer.run()
    y.initializer.run()
    result=f.eval()

file_writer.close()     #關閉寫入器
print(result)

輸出6。

需要注意的是上述程式碼中，x，y均是作為tf變數存在，tf變數有如下特點：
- 需要設定初始值
- 在計算之前需要在會話中進行初始化
- 變數的生命週期開始於初始化，與會話一同結束

因為我們在上述程式碼中儲存了圖，所以可以在Tensorboard中觀察。在控制檯中鍵入tensorboard --logdir C:\Users\qq435\Desktop\tf_logs啟動Tensorboard服務，在瀏覽器中鍵入http://daya-workstation:6006/進入Tensorboard的頁面。

上述模型(方程式)的計算圖如下圖所示：

Tensorflow對於模型的實現既然分為構建階段和計算階段，那麼理所當然地，構建階段是不進行計算的，計算任務均在計算階段進行。

線性模型

這節我們使用TF搭建線性模型對加州房價資料進行處理。

前置模組與設定

import tensorflow
import numpy as np
from datetime import datetime

root_logdir="tf_logs"       #設定根目錄為當前目錄下的tf_logs資料夾

獲取資料

from sklearn.datasets import fetch_california_housing

housing=fetch_california_housing()      #每一個樣本為行向量
m,n=housing.data.shape    #m為樣本數

計算模型搭建

正規方程

利用正規方程W=(XT∗X)−1∗XT∗Y$W=(X_T\ast X{)}^{-1}\ast X_T\ast Y$優化線性模型。

housing_data_plus_bias=np.c_[np.ones((m,1)),housing.data]    #在資料第一列前加上偏置項1

tf.reset_default_graph()

X=tf.constant(housing_data_plus_bias,dtype=tf.float32,name="X")    #常量值不需要初始化
Y=tf.constant(housing.target.reshape(-1,1),dtype=tf.float32,name="Y")
XT=tf.transpose(X)

W=tf.matmul(tf.matmul(tf.matrix_inverse(tf.matmul(XT,X)),XT),Y)    #正規方程

now=datetime.utcnow().strftime("%Y%m%d%H%M%S")
logdir="{}/run-{}/".format(root_logdir,now)     #資料夾名加入時間戳
file_writer=tf.summary.FileWriter(logdir,tf.get_default_graph())

with tf.Session() as sess:
    W_val=W.eval()

file_writer.close()
print(W_val)

以上程式碼所生成的計算圖如下圖所示：

梯度下降法

以MSE作為損失函式，使用梯度下降法來優化線性模型。

在使用梯度下降法時，預先對資料進行縮放處理能夠加快收斂，使用sklearn中的預處理包來進行縮放。

from sklearn.preprocessing import StandardScaler

#資料縮放
scaler = StandardScaler()
scaled_housing_data = scaler.fit_transform(housing.data)
scaled_housing_data_plus_bias = np.c_[np.ones((m, 1)), scaled_housing_data]

在搭建模型之前，先介紹一種Tensorflow中的新型別：placeholder。placeholder在Tensorboard中表現為一個佔位節點，其在計算階段需要輸入資料才能進行計算，否則報錯。

使用tf搭建模型的慣用方法是將輸入資料X與資料標籤Y通過placeholder來實現，然後在計算階段對X、Y輸入相應的資料與標籤即可。具體做法見程式碼。

在使用梯度下降法時，我們可以繪製出loss-epoch學習曲線，Tensorboard中提供了非常便捷的曲線視覺化功能。下述兩段程式碼都將MSE與epoch寫入到了Tensorboard檔案中以供視覺化。

batch梯度下降

#構建計算圖
tf.reset_default_graph()
n_epochs=1000
learning_rate=0.01

X=tf.placeholder(dtype=tf.float32,name="X")
Y=tf.placeholder(dtype=tf.float32,name="Y")
W=tf.Variable(tf.random_uniform([n+1,1],-1,1),name="W")        #因為X第一列加了偏置項,所以W的形狀對應的需要加1

Y_pre=tf.matmul(X,W,name="prediction")

#整合節點
with tf.name_scope("loss") as scope:
    error=Y_pre-Y
    mse=tf.reduce_mean(tf.square(error),name="mse")

optimizer=tf.train.GradientDescentOptimizer(learning_rate=learning_rate)    #設定優化器
training_op=optimizer.minimize(mse)    #優化目標

#tensorboard設定
mse_summary=tf.summary.scalar('MSE',mse)
now=datetime.utcnow().strftime("%Y%m%d%H%M%S")
logdir="{}/run-{}/".format(root_logdir,now)     #資料夾名加入時間戳
file_writer=tf.summary.FileWriter(logdir,tf.get_default_graph())

with tf.Session() as sess:
    W.initializer.run()

    for epoch in range(n_epochs):
        if epoch%10==0:
            #計算過程需要對placeholder給資料
            summary_str=mse_summary.eval(feed_dict={X:scaled_housing_data_plus_bias,Y:housing.target.reshape(-1,1)})
            file_writer.add_summary(summary_str,epoch)
        sess.run(training_op,feed_dict={X:scaled_housing_data_plus_bias,Y:housing.target.reshape(-1,1)})    #給資料

    W_val=W.eval()
    print(W_val)

file_writer.close()

計算圖如下圖所示：

學習曲線如圖所示：

mini-batch梯度下降

#構建計算圖
tf.reset_default_graph()
n_epochs=10
learning_rate=0.01

X=tf.placeholder(dtype=tf.float32,name="X")
Y=tf.placeholder(dtype=tf.float32,name="Y")
W=tf.Variable(tf.random_uniform([n+1,1],-1,1),name="W")

batch_size=100
n_batches=int(np.ceil(m/batch_size))

#隨機取batch
def fetch_batch(epoch,batch_index,batch_size):
    np.random.seed(epoch * n_batches + batch_index)
    indices = np.random.randint(m, size=batch_size)
    X_batch = scaled_housing_data_plus_bias[indices]
    Y_batch = housing.target.reshape(-1, 1)[indices]
    return X_batch,Y_batch

Y_pre=tf.matmul(X,W,name="prediction")

#整合節點
with tf.name_scope("loss") as scope:
    error=Y_pre-Y
    mse=tf.reduce_mean(tf.square(error),name="mse")

optimizer=tf.train.GradientDescentOptimizer(learning_rate=learning_rate)    #設定優化器
training_op=optimizer.minimize(mse)    #優化目標

#tensorboard設定
mse_summary=tf.summary.scalar('MSE',mse)
now=datetime.utcnow().strftime("%Y%m%d%H%M%S")
logdir="{}/run-{}/".format(root_logdir,now)     #資料夾名加入時間戳
file_writer=tf.summary.FileWriter(logdir,tf.get_default_graph())

with tf.Session() as sess:
    W.initializer.run()

    for epoch in range(n_epochs):
        for batch_index in range(n_batches):
            X_batch,Y_batch=fetch_batch(epoch,batch_index,batch_size)
            if batch_index%10==0:
                summary_str=mse_summary.eval(feed_dict={X:X_batch,Y:Y_batch})    #給資料
                file_writer.add_summary(summary_str,epoch*batch_size+batch_index)
            sess.run(training_op,feed_dict={X:X_batch,Y:Y_batch})    #給資料

    W_val=W.eval()
    print(W_val)

file_writer.close()

mini-batch梯度下降的計算圖與batch梯度下降是一樣的，因為沒有改變計算過程，只是將資料分批多次輸入。

學習曲線如下圖所示：