簡介：本文章以tensorflow為平臺建立了一個簡單的線性迴歸模型，並得到了不錯的效果。同時實現了模型的儲存與載入，當一個模型的訓練時間非常長的時候，利用模型的載入可以實現開啟程式時接著上次訓練。

• 平臺：Python 3.6
• IDE：Pycharm

一、線性迴歸模型介紹

簡單來說：線性迴歸就是利用一曲線段對一些連續的資料進行擬合，進而可以用這條曲線預測新的輸出值。數學模型如下：

其中：w稱為權重，b稱為偏置，利用現有的資料訓練出理想的w和b的值，然後建立模型，進行下一個值的預測。

二、資料介紹

import numpy as np

x_data = np.arange(-1, 1,
 
 0.02, dtype=np.float32).reshape((100, 1))
y_true = np.tan(x_data) + np.random.normal(0, 0.1, 100).reshape((100, 1))

利用numpy模組產生100個數據，如下圖展示的散點圖，目的就是根據這些資料，擬合出一條最佳的曲線。

三、思路

1、載入資料

由於上圖的資料是隨機產生的，需要將資料儲存在本地，然後從本地讀取。不然每次執行程式的資料不一致。

        with tf.variable_scope("data"):
            # 獲取資料
            x_data = np.
 
arange(-1, 1, 0.02, dtype=np.float32).reshape((100,1))
            y_true = np.loadtxt("./data.csv").reshape((100,1))

2、建立模型

隨機初始化權重weight和偏置bias的值，並建立迴歸模型。

        with tf.variable_scope("model"):
            # 初始化權重和偏置
            weight = tf.Variable(tf.random_normal([1,1], mean=3.4, stddev=5.2), trainable=
 
True, name="weight")
            bias = tf.Variable(3.0, name="bias")
            # 建立模型
            y_predict = tf.matmul(x_data, weight) + bias

3、建立損失函式

根據真實值和預測值的均方誤差值，建立損失函式。

        with tf.variable_scope("loss"):
            loss = tf.reduce_mean(tf.square(y_true - y_predict))

4、利用梯度下降優化損失

利用tensorflow自帶的梯度下降法減小損失函式。

        with tf.variable_scope("optimizer"):
            train_op = tf.train.GradientDescentOptimizer(0.01).minimize(loss)

5、建立會話執行程式

        with tf.Session() as sess:
            sess.run(init_op)
            print("初始化權重：%f 初始化偏置：%f" %(weight.eval(), bias.eval()))
            # 建立事件檔案
            file_writer = tf.summary.FileWriter("./temp/summary/linear", graph=sess.graph)
            # 判斷本地是否有儲存有模型
            if os.path.exists("./temp/ckpt/checkpoint"):
                saver.restore(sess, "./temp/ckpt/model")
            for i in range(self.FLAGS.train_step):
                sess.run(train_op)
                # 執行合併的tensor
                summary = sess.run(merged)
                file_writer.add_summary(summary, i)
                print("第%d次優化引數的權重為：%f, 偏置為：%f" % ((i + 1), weight.eval(), bias.eval()))

四、模型的儲存與載入

# 儲存模型 var_list:指定要儲存和還原的變數， max_to_keep:指定要儲存最近檢查點檔案的個數，預設為5
tf.train.Saver(var_list=None, max_to_keep=5)

# 載入模型
saver.save(var_list, file_path)

模型儲存後，會出現四個檔案

.meta：儲存了TensorFlow的graph。包括all variables，operations，collections等等。
.index和.data：儲存了所有weights，biases，gradient and all the other variables的值。
checkpoint檔案：只儲存最新檢查點檔案的記錄，即最新的儲存路徑。

五、結果分析

每訓練400次便擬合一下曲線，圖一是訓練400次得到的曲線，圖二是訓練800次得到的曲線，圖三是1200次，圖四是1600次。從圖中可以看出，擬合的曲線效果越來越好。

六、執行程式

命令列輸入以下命令，train_step表示要訓練的步數。

得到如下結果：

七、整體程式

# -*- coding: utf-8 -*-

"""
--------------------------------------------------------
# @Version : python3.6
# @Author  : [email protected]
# @Software: PyCharm
# @Time    : 2018/9/21 13.14
--------------------------------------------------------
"""

import os
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt


class LinearRegression(object):

    def __init__(self):

        self.FLAGS = tf.app.flags.FLAGS
        tf.app.flags.DEFINE_integer("train_step", 100, "訓練步數")
        os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2" # 關閉警告

    def run(self):

        with tf.variable_scope("data"):
            # 獲取資料
            x_data = np.arange(-1, 1, 0.02, dtype=np.float32).reshape((100,1))
            y_true = np.loadtxt("./data.csv").reshape((100,1))


        with tf.variable_scope("model"):
            # 初始化權重和偏置
            weight = tf.Variable(tf.random_normal([1,1], mean=3.4, stddev=5.2), trainable=True, name="weight")
            bias = tf.Variable(3.0, name="bias")

            # 建立模型
            y_predict = tf.matmul(x_data, weight) + bias

        with tf.variable_scope("loss"):
            # 建立損失函式
            loss = tf.reduce_mean(tf.square(y_true - y_predict))

        with tf.variable_scope("optimizer"):
            # 利用梯度下降優化損失
            train_op = tf.train.GradientDescentOptimizer(0.01).minimize(loss)

        # 收集tensor
        tf.summary.scalar("losses", loss)
        tf.summary.histogram("weights", weight)

        # 合併tensor
        merged = tf.summary.merge_all()

        # 定義一個初始化變數的op
        init_op = tf.global_variables_initializer()

        # 定義一個儲存變數的例項
        saver = tf.train.Saver()

        # 建立會話執行程式
        with tf.Session() as sess:
            sess.run(init_op)
            print("初始化權重：%f 初始化偏置：%f" %(weight.eval(), bias.eval()))

            # 建立事件檔案
            file_writer = tf.summary.FileWriter("./temp/summary/linear", graph=sess.graph)

            # 判斷本地是否有儲存有模型
            if os.path.exists("./temp/ckpt/checkpoint"):
                saver.restore(sess, "./temp/ckpt/model")

            for i in range(self.FLAGS.train_step):
                sess.run(train_op)

                # 執行合併的tensor
                summary = sess.run(merged)
                file_writer.add_summary(summary, i)
                print("第%d次優化引數的權重為：%f, 偏置為：%f" % ((i + 1), weight.eval(), bias.eval()))

                # 資料視覺化
                if (i+1) % 400 == 0:

                    self.plot_data(y_true, weight.eval(), bias.eval(), i)


            # 儲存模型
            saver.save(sess, "./temp/ckpt/model")


    # 資料視覺化
    def plot_data(self, y_true, weight, bias, i):

        x_data = np.arange(-1, 1, 0.02)

        plt.scatter(x_data, y_true, label="y_true")

        y_predict = x_data * weight[0][0] + bias
        plt.plot(x_data, y_predict, color="red", label="y_predict")
        plt.xlabel("x")
        plt.ylabel("y")
        plt.title("Linear Regression")
        plt.legend()

        plt.savefig("./img/"+str(i+1)+".png")
        plt.show()


if __name__ == '__main__':

    linear_regression = LinearRegression()
    linear_regression.run()

八、Tensorboard視覺化

Tensorflow一個非常受歡迎的地方就是Tensorboard的視覺化部分，該功能可以讓我們看到整個模型的執行過程。
開啟Tensorboard,命令列輸入：

tensorboard --logdir="file_path"

通過梯度下降法得到的損失函式如下，可以看出，損失函式loss逐漸減小並最終收斂在0附近。

該模型可表示為：

九、總結

本文通過一個簡單的一元線性迴歸模型介紹了Tensorflow的使用流程，並介紹瞭如何儲存和載入模型，同時介紹了關於Tenforboardde的簡單使用，為後續神經網路的使用奠定了基礎。