回歸問題就是擬合輸入變量x與數值型的目標變量y之間的關系，而線性回歸就是假定了x和y之間的線性關系，公式如下：

　　如下圖所示，我們可以通過繪制繪制（x,y）的散點圖的方式來查看x和y之間是否有線性關系，線性回歸模型的目標是尋找一條穿過這些散點的直線，讓所有的點離直線的距離最短。這條完美直線所對應的參數就是我們要找的線性回歸模型參數w1,w2,w3……b

　　最小二乘法是一種求解回歸模型參數w1,w2,w3……b的方法，線性回歸模型中，能讓預測值和真實值誤差平方和最小的這條直線就是完美直線。

　　y^i表示第i個數據點的預測值，也就是對應完美直線的y值。最小二乘法通過求偏導數的方法讓誤差平方和取得最小值w1,w2,w3……b。

　　損失函數定義：

　　監督學習算法的目標就是為了讓目標變量y的預測值和真實值盡量吻合，定義預測值與真實值之間的差異方法就叫損失函數。損失函數值越小，說明差異越小，模型的預測效果越好。線性回歸中最小二乘法就是這個損失函數。

　　梯度下降法

　　在機器學習領域中，梯度下降法是更加通用的一種求解參數的方法。它的核心思想是 通過叠代逼近的方法尋找到讓損失函數取得最小值的參數，如下圖所示

上圖中，J(e)是損失函數，a是學習率，初始要設的小一點，這樣用梯度下降法時，才會更快的叠代到。叠代過程如下所示：

最終求出最合適的參數值

十大經典預測算法----線性回歸