線性迴歸api再介紹

• sklearn.linear_model.LinearRegression(fit_intercept=True)
  • 通過正規方程優化
  • fit_intercept：是否計算偏置
  • LinearRegression.coef_：迴歸係數
  • LinearRegression.intercept_：偏置
• sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)
  • SGDRegressor類實現了隨機梯度下降學習，它支援不同的loss函式和正則化懲罰項來擬合線性迴歸模型。
  • loss:損失型別
    • loss=”squared_loss”: 普通最小二乘法
  • fit_intercept：是否計算偏置
  • learning_rate : string, optional
    • 學習率填充
    • 'constant': eta = eta0
    • 'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
    • 'invscaling': eta = eta0 / pow(t, power_t)
      • power_t=0.25:存在父類當中
    • 對於一個常數值的學習率來說，可以使用learning_rate=’constant’ ，並使用eta0來指定學習率。
  • SGDRegressor.coef_：迴歸係數
  • SGDRegressor.intercept_：偏置

　波士頓房價預測

　　1：資料集介紹

給定的這些特徵，是專家們得出的影響房價的結果屬性。我們此階段不需要自己去探究特徵是否有用，只需要使用這些特徵。到後面量化很多特徵需要我們自己去尋找

1 分析

迴歸當中的資料大小不一致，是否會導致結果影響較大。所以需要做標準化處理。

• 資料分割與標準化處理
• 迴歸預測
• 線性迴歸的演算法效果評估

2 迴歸效能評估

均方誤差(Mean Squared Error)MSE)評價機制：

注：yi為預測值，¯y為真實值

• sklearn.metrics.mean_squared_error(y_true, y_pred)
  • 均方誤差迴歸損失
  • y_true:真實值
  • y_pred:預測值
  • return:浮點數結果

程式碼：

# 波士頓資料集
from sklearn.datasets import load_boston
# 資料集劃分
from sklearn.model_selection import train_test_split
# 特徵處理
from sklearn.preprocessing import  StandardScaler
#機器學習
from sklearn.linear_model import LinearRegression,SGDRegressor

# 均方誤差
from sklearn.metrics import mean_squared_error


def line_model1():
    """
    線性迴歸：正規方程
    :return:
    """
    #1. 獲取資料集
    data = load_boston()
    #2. 資料集劃分
    x_train,x_test,y_train,y_test= train_test_split(data.data,data.target,random_state=22)

    # 3. 特徵工程 (transfer 轉換器)
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 4. 機器學習 （線性迴歸方程） estimator：評估器
    estimator = LinearRegression()
    estimator.fit(x_train,y_train)

    #5. 模型評估
    # 5.1 獲取係數等值
    y_predict = estimator.predict(x_test)
    print("預測值為:\n", y_predict)
    print("模型中的係數為:\n", estimator.coef_)
    print("模型中的偏置為:\n", estimator.intercept_)

    #5.2 評價
    #均方差
    error = mean_squared_error(y_test,y_predict)
    print("誤差為:\n", error)


def linear_model2():
    """
    線性迴歸:梯度下降法
    :return:None
    """
    # 1.獲取資料
    data = load_boston()

    # 2.資料集劃分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特徵工程-標準化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 4.機器學習-線性迴歸(特徵方程)
    estimator = SGDRegressor(max_iter=1000)
    estimator.fit(x_train, y_train)

    # 5.模型評估
    # 5.1 獲取係數等值
    y_predict = estimator.predict(x_test)
    print("預測值為:\n", y_predict)
    print("模型中的係數為:\n", estimator.coef_)
    print("模型中的偏置為:\n", estimator.intercept_)

    # 5.2 評價
    # 均方誤差
    error = mean_squared_error(y_test, y_predict)
    print("誤差為:\n", error)
if __name__ == '__main__':
    # line_model1()
    linear_model2()