梯度下降法解決線性迴歸
阿新 • • 發佈:2019-01-08
'''
用梯度下降的優化方法來快速解決線性迴歸問題
'''
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
# 構建資料
points_num = 100
vectors = []
# 用numpy的正態隨機分佈函式生成100個點,這些點的(x,y)座標值對應線性方程y = 0.1*x + 0.2
# 權重(Weight)是0.1,偏差(Bias)是0.2
for i in range(points_num):
x1 = np.random.normal(0.0 , 0.66)
y1 = 0.1 * x1 + 0.2 + np.random.normal(0.0, 0.04)
vectors.append([x1,y1])
x_data = [v[0] for v in vectors] # 真實的點的x座標
y_data = [v[1] for v in vectors] # 真實的點的y座標
# 影象1 :展示所有的隨機資料點
plt.plot(x_data, y_data, 'r*', label="Original data")
plt.title("Linear Regression using Gradient Descent")
plt.legend()
plt.show()
# 構建線性迴歸模型
W = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) # 初始化Weight
# tf.random_uniform((4, 4), minval=low, maxval=high)返回4*4的矩陣,產生於low和high之間,產生的值是均勻分佈的。
b = tf.Variable(tf.zeros([1])) # 初始化Bias
y = W * x_data + b # 模型計算出的y
# 定義 loss function(損失函式) 或 cost function(代價函式)
# 對 Tensor 的所有維度 計算((y - y_data)^2)之和 / N
loss = tf.reduce_mean(tf.square(y - y_data))
# tf.reduce_mean 計算所有維度的平均值
# 用梯度下降的優化器來優化 loss function
optimizer = tf.train.GradientDescentOptimizer(0.5) # 設定學習率 0.5
train = optimizer.minimize(loss)
# 建立會話
with tf.Session() as sess:
init = tf.global_variables_initializer() # 初始化資料流圖中的所有變數
sess.run(init)
# 訓練20步
for step in range(20):
sess.run(train) # 優化每一步
print("Step=%d, Loss=%f, [Weight=%f Bias=%f]" % (step, sess.run(loss), sess.run(W), sess.run(b)))
# 影象2: 繪製所有的點並且繪製出最佳擬合的直線
x_data = [v[0] for v in vectors] # 真實的點的x座標
y_data = [v[1] for v in vectors] # 真實的點的y座標
# 影象1 :展示所有的隨機資料點
plt.plot(x_data, y_data, 'r*', label="Original data")
plt.title("Linear Regression using Gradient Descent")
plt.plot(x_data, sess.run(W) * x_data + sess.run(b), label="Fitted line")
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()