之所以說”使用”而不是”實現”，是因為python的相關類庫已經幫我們實現了具體演算法，而我們只要學會使用就可以了。隨著對技術的逐漸掌握及積累，當類庫中的演算法已經無法滿足自身需求的時候，我們也可以嘗試通過自己的方式實現各種演算法。

言歸正傳，什麼是”最小二乘法”呢？

定義：最小二乘法（又稱最小平方法）是一種數學優化技術，它通過最小化誤差的平方和尋找資料的最佳函式匹配。

作用：利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。

原則：以”殘差平方和最小”確定直線位置(在數理統計中，殘差是指實際觀察值與估計值之間的差)

數學公式：

基本思路：對於一元線性迴歸模型, 假設從總體中獲取了n組觀察值（X1，Y1），（X2，Y2）， …，（Xn，Yn），對於平面中的這n個點，可以使用無數條曲線來擬合。而線性迴歸就是要求樣本回歸函式儘可能好地擬合這組值，也就是說，這條直線應該儘可能的處於樣本資料的中心位置。因此，選擇最佳擬合曲線的標準可以確定為：使總的擬合誤差（即總殘差）達到最小。

實現程式碼如下，程式碼中已經詳細的給了註釋：

##最小二乘法
import numpy as np   ##科學計算庫 
import scipy as sp   ##在numpy基礎上實現的部分演算法庫
 

import matplotlib.pyplot as plt  ##繪相簿
from scipy.optimize import leastsq  ##引入最小二乘法演算法

'''
     設定樣本資料，真實資料需要在這裡處理
'''
##樣本資料(Xi,Yi)，需要轉換成陣列(列表)形式
Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2])
Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3])

'''
    設定擬合函式和偏差函式
    函式的形狀確定過程：
    1.先畫樣本影象
    2.根據樣本影象大致形狀確定函式形式(直線、拋物線、正弦餘弦等)
 
'''

##需要擬合的函式func :指定函式的形狀
def func(p,x):
    k,b=p
    return k*x+b

##偏差函式：x,y都是列表:這裡的x,y更上面的Xi,Yi中是一一對應的
def error(p,x,y):
    return func(p,x)-y

'''
    主要部分：附帶部分說明
    1.leastsq函式的返回值tuple，第一個元素是求解結果，第二個是求解的代價值(個人理解)
    2.官網的原話（第二個值）：Value of the cost function at the solution
    3.例項：Para=>(array([ 0.61349535,  1.79409255]), 3)
    4.返回值元組中第一個值的數量跟需要求解的引數的數量一致
'''

#k,b的初始值，可以任意設定,經過幾次試驗，發現p0的值會影響cost的值：Para[1]
p0=[1,20]

#把error函式中除了p0以外的引數打包到args中(使用要求)
Para=leastsq(error,p0,args=(Xi,Yi))

#讀取結果
k,b=Para[0]
print("k=",k,"b=",b)
print("cost："+str(Para[1]))
print("求解的擬合直線為:")
print("y="+str(round(k,2))+"x+"+str(round(b,2)))

'''
   繪圖，看擬合效果.
   matplotlib預設不支援中文，label設定中文的話需要另行設定
   如果報錯，改成英文就可以
'''

#畫樣本點
plt.figure(figsize=(8,6)) ##指定影象比例： 8：6
plt.scatter(Xi,Yi,color="green",label="樣本資料",linewidth=2) 

#畫擬合直線
x=np.linspace(0,12,100) ##在0-15直接畫100個連續點
y=k*x+b ##函式式
plt.plot(x,y,color="red",label="擬合直線",linewidth=2) 
plt.legend(loc='lower right') #繪製圖例
plt.show()

結果如下所示：

輸出結果：

k= 0.900458420439 b= 0.831055638877
cost：1
求解的擬合直線為:
y=0.9x+0.83

繪圖結果：