技術標籤：機器學習資料科學# Python機器學習線性迴歸Python

1.線性迴歸簡介

1 定義與公式

線性迴歸(Linear regression)是利用迴歸方程(函式)對一個或多個自變數(特徵值)和因變數(目標值)之間關係進行建模的一種分析方式。

我們看到特徵值與目標值之間建立了一個關係，這個關係可以理解為線性模型。

線性迴歸當中主要有兩種模型，一種是線性關係，另一種是非線性關係。

線性關係

• 單變數線性關係

• 多變數線性關係

非線性關係

2 線性迴歸api初步使用

• 匯入模組

  • from sklearn.linear_model import LinearRegression
    
     
    

• 構造資料集

• 機器學習-- 模型訓練

• # 例項化API
  estimator = LinearRegression()
  # 使用fit方法進行訓練
  estimator.fit(x,y)
  
  

2.線性迴歸的損失和優化

1 獲取資料

x = 
[[80, 86],
[82, 80],
[85, 78],
[90, 90],
[86, 82],
[82, 90],
[78, 80],
[92, 94]]
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]

2 確定模型

根據經驗確定特徵和標籤呈線性關係

3 確定表示式

h(t) = y = a*t1+b*t2
y 最終成績 標籤
t1 平時成績 特徵1
t2 考試成績 特徵2
a b是待求的係數

 

4 優化差異值

如果差異值非常小
可以認為預測結果非常接近於真實結果
可以把預測結果當作真實結果

y = 0.1*t1+0.5*t2
y 最終成績
t1 平時成績
t2 考試成績

h(x1) 第一個同學的預測結果
h(x1) = 80*0.1+86*0.5 
y1 = 84.2

5 損失函式

用來描述（所有樣本）預測值和真實值的差異程度

6 損失函式優化演算法

1 正規方程

令損失函式導數為0，表示損失函式取到了最小值，根據這個計算的係數w是最接近真實結果的

2 梯度下降

損失函式是自己構造的，引數的初始值可以隨機取值，接著更新引數

讓引數減去alpha倍的損失函式對於引數的導數/偏導數

不斷的迭代迴圈，最終使得損失函式取到最小值