1. 程式人生 > >梯度下降法解決線性迴歸

梯度下降法解決線性迴歸

'''
用梯度下降的優化方法來快速解決線性迴歸問題
'''

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# 構建資料
points_num = 100
vectors = []
# 用numpy的正態隨機分佈函式生成100個點,這些點的(x,y)座標值對應線性方程y = 0.1*x + 0.2
# 權重(Weight)是0.1,偏差(Bias)是0.2
for i in range(points_num):
    x1 = np.random.normal(0.0
, 0.66) y1 = 0.1 * x1 + 0.2 + np.random.normal(0.0, 0.04) vectors.append([x1,y1]) x_data = [v[0] for v in vectors] # 真實的點的x座標 y_data = [v[1] for v in vectors] # 真實的點的y座標 # 影象1 :展示所有的隨機資料點 plt.plot(x_data, y_data, 'r*', label="Original data") plt.title("Linear Regression using Gradient Descent") plt.legend() plt.show() # 構建線性迴歸模型
W = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) # 初始化Weight # tf.random_uniform((4, 4), minval=low, maxval=high)返回4*4的矩陣,產生於low和high之間,產生的值是均勻分佈的。 b = tf.Variable(tf.zeros([1])) # 初始化Bias y = W * x_data + b # 模型計算出的y # 定義 loss function(損失函式) 或 cost function(代價函式) # 對 Tensor 的所有維度 計算((y - y_data)^2)之和 / N
loss = tf.reduce_mean(tf.square(y - y_data)) # tf.reduce_mean 計算所有維度的平均值 # 用梯度下降的優化器來優化 loss function optimizer = tf.train.GradientDescentOptimizer(0.5) # 設定學習率 0.5 train = optimizer.minimize(loss) # 建立會話 with tf.Session() as sess: init = tf.global_variables_initializer() # 初始化資料流圖中的所有變數 sess.run(init) # 訓練20步 for step in range(20): sess.run(train) # 優化每一步 print("Step=%d, Loss=%f, [Weight=%f Bias=%f]" % (step, sess.run(loss), sess.run(W), sess.run(b))) # 影象2: 繪製所有的點並且繪製出最佳擬合的直線 x_data = [v[0] for v in vectors] # 真實的點的x座標 y_data = [v[1] for v in vectors] # 真實的點的y座標 # 影象1 :展示所有的隨機資料點 plt.plot(x_data, y_data, 'r*', label="Original data") plt.title("Linear Regression using Gradient Descent") plt.plot(x_data, sess.run(W) * x_data + sess.run(b), label="Fitted line") plt.legend() plt.xlabel('x') plt.ylabel('y') plt.show()