《機器學習實戰》學習筆記（十一）：線性迴歸基礎篇之預測鮑魚年齡

阿新 • • 發佈：2022-05-03

作者：崔加華

編輯：祝鑫泉

前言

好久沒有更新了，最近中耳炎，晚上耳鳴，一度影響正常工作，慢慢吃藥調理中。在學習之餘，記得加強體育鍛煉！

前面的文章介紹了很多分類演算法，分類的目標變數是標稱型資料，而本文將會對連續型的資料做出預測。主要講解簡單的線性迴歸和區域性加權線性迴歸，並通過預測鮑魚年齡的例項進行實戰演練。

什麼是迴歸

迴歸的目的是預測數值型的目標值。最直接的辦法是依據輸入寫出一個目標值的計算公式。假如你想預測小姐姐男友汽車的功率，可能會這麼計算：

HorsePower = 0.0015 * annualSalary - 0.99 * hoursListeningToPublicRadio

寫成中文就是：小姐姐男友汽車的功率 = 0.0015 * 小姐姐男友年薪 - 0.99 * 收聽公共廣播的時間。

這就是所謂的迴歸方程（regression equation），其中的0.0015和-0.99稱為迴歸係數（regression weights），求這些迴歸係數的過程就是迴歸。一旦有了這些迴歸係數，再給定輸入，做預測就非常容易了。具體的做法是用迴歸係數乘以輸入值，再將結果全部加在一起，就得到了預測值。

說到迴歸，一般都是指線性迴歸（linear regression），所以本文裡的迴歸和線性迴歸代表同一個意思。線性迴歸意味著可以將輸入項分別乘以一些常量，再將結果加起來得到輸出。需要說明的是，存在另一種成為非線性迴歸的迴歸模型，該模型不認同上面的做法，比如認為輸出可能是輸入的乘積。這樣，上面的功率計算公式也可以寫做：

HorsePower = 0.0015 * annualSalary / hoursListeningToPublicRadio

這就是一個非線性迴歸的例子，本文對此不做深入討論。

揭開回歸的神祕面紗

1.用線性迴歸找到最佳擬合直線

應該怎麼從一大堆資料裡求出迴歸方程呢？假定輸入資料存放在矩陣X中，結果存放在向量y中：

而回歸係數存放在向量w中：

那麼對於給定的資料x1，即矩陣X的第一列資料，預測結果u1將會通過如下公式給出：

現在的問題是，手裡有資料矩陣X和對應的標籤向量y，怎麼才能找到w呢？一個常用的方法就是找出使誤差最小的w。這裡的誤差是指預測u值和真實y值之間的差值，使用該誤差的簡單累加將使得正差值和負差值相互抵消，所以我們採用平方誤差。

平方誤差和可以寫做：

用矩陣表示還可以寫做：

為啥能這麼變化，記住一個前提：若x為向量，則預設x為列向量，x^T為行向量。講上述提到的資料矩陣X和標籤向量y帶進去，就知道為何這麼變化了。

在繼續推導之前，我們要先明確一個目的：找到w，使平方誤差和最小。因為我們認為平方誤差和越小，說明線性迴歸擬合效果越好。

現在，我們用用矩陣表示的平方誤差和對w進行求導：

如果對於矩陣求不熟悉的，可以移步這裡：http://blog.csdn.net/nomadlx53/article/details/50849941

令上述公式等於0，得到：

w上方的小標記表示，這是當前可以估計出的w的最優解。從現有資料上估計出的w可能並不是資料中的真實w值，所以這裡使用了一個"帽"符號來表示它僅是w的一個最佳估計。

值得注意的是，上述公式中包含逆矩陣，也就是說，這個方程只在逆矩陣存在的時候使用，也即是這個矩陣是一個方陣，並且其行列式不為0。

上述的最佳w求解是統計學中的常見問題，除了矩陣方法外還有很多其他方法可以解決。通過呼叫NumPy庫裡的矩陣方法，我們可以僅使用幾行程式碼就完成所需功能。該方法也稱作OLS，意思是“普通小二乘法”（ordinary least squares）。

我們先看下資料集，資料下載地址：https://github.com/Jack-Cherish/Machine-Learning/blob/master/Regression/ex0.txt

第一列都為1.0，即x0。第二列為x1，即x軸資料。第三列為x2，即y軸資料。首先繪製下資料，看下資料分佈。編寫程式碼如下：

# -*- coding:utf-8 -*-
import matplotlib.pyplot as plt
import numpy as np

def loadDataSet(fileName):
    """
    函式說明:載入資料
    Parameters:
        fileName - 檔名
    Returns:
        xArr - x資料集
        yArr - y資料集
    Website:
        http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """

    numFeat = len(open(fileName).readline().split('t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr

def plotDataSet():
    """
    函式說明:繪製資料集
    Parameters:
        無
    Returns:
        無
    Website:
        http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    xArr, yArr = loadDataSet('ex0.txt')                                    #載入資料集
    n = len(xArr)                                                        #資料個數
    xcord = []; ycord = []                                                #樣本點
    for i in range(n):                                                   
        xcord.append(xArr[i][1]); ycord.append(yArr[i])                    #樣本點
    fig = plt.figure()
    ax = fig.add_subplot(111)                                            #新增subplot
    ax.scatter(xcord, ycord, s = 20, c = 'blue',alpha = .5)                #繪製樣本點
    plt.title('DataSet')                                                #繪製title
    plt.xlabel('X')
    plt.show()

if __name__ == '__main__':
    plotDataSet()

執行程式碼如下：

通過視覺化資料，我們可以看到資料的分佈情況。接下來，讓我們根據上文中推導的迴歸係數計算方法，求出迴歸係數向量，並根據迴歸係數向量繪製迴歸曲線，編寫程式碼如下：

# -*- coding:utf-8 -*-
import matplotlib.pyplot as plt
import numpy as np

def loadDataSet(fileName):
    """
    函式說明:載入資料
    Parameters:
        fileName - 檔名
    Returns:
        xArr - x資料集
        yArr - y資料集
    Website:
        http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    numFeat = len(open(fileName).readline().split('t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr

def standRegres(xArr,yArr):
    """
    函式說明:計算迴歸係數w
    Parameters:
        xArr - x資料集
        yArr - y資料集
    Returns:
        ws - 迴歸係數
    Website:
        http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    xTx = xMat.T * xMat                            #根據文中推導的公示計算迴歸係數
    if np.linalg.det(xTx) == 0.0:
        print("矩陣為奇異矩陣,不能轉置")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

def plotRegression():
    """
    函式說明:繪製迴歸曲線和資料點
    Parameters:
        無
    Returns:
        無
    Website:
        http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    xArr, yArr = loadDataSet('ex0.txt')                                    #載入資料集
    ws = standRegres(xArr, yArr)                                        #計算迴歸係數
    xMat = np.mat(xArr)                                                    #建立xMat矩陣
    yMat = np.mat(yArr)                                                    #建立yMat矩陣
    xCopy = xMat.copy()                                                    #深拷貝xMat矩陣
    xCopy.sort(0)                                                        #排序
    yHat = xCopy * ws                                                     #計算對應的y值
    fig = plt.figure()
    ax = fig.add_subplot(111)                                            #新增subplot
    ax.plot(xCopy[:, 1], yHat, c = 'red')                                #繪製迴歸曲線
    ax.scatter(xMat[:,1].flatten().A[0], yMat.flatten().A[0], s = 20, c = 'blue',alpha = .5)                #繪製樣本點
    plt.title('DataSet')                                                #繪製title
    plt.xlabel('X')
    plt.show()

if __name__ == '__main__':
    plotRegression()

執行程式碼如下：

如何判斷擬合曲線的擬合效果的如何呢？當然，我們可以根據自己的經驗進行觀察，除此之外，我們還可以使用corrcoef方法，來比較預測值和真實值的相關性。編寫程式碼如下：

# -*- coding:utf-8 -*-
import numpy as np

def loadDataSet(fileName):
    """
    函式說明:載入資料
    Parameters:
        fileName - 檔名
    Returns:
        xArr - x資料集
        yArr - y資料集
    Website:
        http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    numFeat = len(open(fileName).readline().split('t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr

def standRegres(xArr,yArr):
    """
    函式說明:計算迴歸係數w
    Parameters:
        xArr - x資料集
        yArr - y資料集
    Returns:
        ws - 迴歸係數
    Website:
        http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    xTx = xMat.T * xMat                            #根據文中推導的公示計算迴歸係數
    if np.linalg.det(xTx) == 0.0:
        print("矩陣為奇異矩陣,不能轉置")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

if __name__ == '__main__':
    xArr, yArr = loadDataSet('ex0.txt')                                    #載入資料集
    ws = standRegres(xArr, yArr)                                        #計算迴歸係數
    xMat = np.mat(xArr)                                                    #建立xMat矩陣
    yMat = np.mat(yArr)                                                    #建立yMat矩陣
    yHat = xMat * ws
    print(np.corrcoef(yHat.T, yMat))

執行結果如下：

可以看到，對角線上的資料是1.0，因為yMat和自己的匹配是完美的，而YHat和yMat的相關係數為0.98。

最佳擬合直線方法將資料視為直線進行建模，具有十分不錯的表現。資料當中似乎還存在其他的潛在模式。那麼如何才能利用這些模式呢？我們可以根據資料來區域性調整預測，下面就會介紹這種方法。

2.區域性加權線性迴歸

線性迴歸的一個問題是有可能出現欠擬合現象，因為它求的是具有小均方誤差的無偏估計。顯而易見，如果模型欠擬合將不能取得好的預測效果。所以有些方法允許在估計中引入一些偏差，從而降低預測的均方誤差。

其中的一個方法是區域性加權線性迴歸（Locally Weighted Linear Regression，LWLR）。在該方法中，我們給待預測點附近的每個點賦予一定的權重。與kNN一樣，這種演算法每次預測均需要事先選取出對應的資料子集。該演算法解除迴歸係數W的形式如下：

其中W是一個矩陣，這個公式跟我們上面推導的公式的區別就在於W，它用來給每個店賦予權重。

LWLR使用"核"（與支援向量機中的核類似）來對附近的點賦予更高的權重。核的型別可以自由選擇，最常用的核就是高斯核，高斯核對應的權重如下：

這樣我們就可以根據上述公式，編寫區域性加權線性迴歸，我們通過改變k的值，可以調節迴歸效果，編寫程式碼如下：

# -*- coding:utf-8 -*-
from matplotlib.font_manager import FontProperties
import matplotlib.pyplot as plt
import numpy as np
def loadDataSet(fileName):
    """
    函式說明:載入資料
    Parameters:
        fileName - 檔名
    Returns:
        xArr - x資料集
        yArr - y資料集
    Website:http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    numFeat = len(open(fileName).readline().split('t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr

def plotlwlrRegression():
    """
    函式說明:繪製多條區域性加權迴歸曲線
    Parameters:
        無
    Returns:
        無
    Website:http://www.cuijiahua.com/
    Modify:
        2017-11-15
    """
    font = FontProperties(fname=r"c:windowsfontssimsun.ttc", size=14)
    xArr, yArr = loadDataSet('ex0.txt')                                    #載入資料集
    yHat_1 = lwlrTest(xArr, xArr, yArr, 1.0)                            #根據區域性加權線性迴歸計算yHat
    yHat_2 = lwlrTest(xArr, xArr, yArr, 0.01)                            #根據區域性加權線性迴歸計算yHat
    yHat_3 = lwlrTest(xArr, xArr, yArr, 0.003)                            #根據區域性加權線性迴歸計算yHat
    xMat = np.mat(xArr)                                                    #建立xMat矩陣
    yMat = np.mat(yArr)                                                    #建立yMat矩陣
    srtInd = xMat[:, 1].argsort(0)                                        #排序，返回索引值
    xSort = xMat[srtInd][:,0,:]
    fig, axs = plt.subplots(nrows=3, ncols=1,sharex=False, sharey=False, figsize=(10,8))                                       
    axs[0].plot(xSort[:, 1], yHat_1[srtInd], c = 'red')                        #繪製迴歸曲線
    axs[1].plot(xSort[:, 1], yHat_2[srtInd], c = 'red')                        #繪製迴歸曲線
    axs[2].plot(xSort[:, 1], yHat_3[srtInd], c = 'red')                        #繪製迴歸曲線
    axs[0].scatter(xMat[:,1].flatten().A[0], yMat.flatten().A[0], s = 20, c = 'blue', alpha = .5)                #繪製樣本點
    axs[1].scatter(xMat[:,1].flatten().A[0], yMat.flatten().A[0], s = 20, c = 'blue', alpha = .5)                #繪製樣本點
    axs[2].scatter(xMat[:,1].flatten().A[0], yMat.flatten().A[0], s = 20, c = 'blue', alpha = .5)                #繪製樣本點
    #設定標題,x軸label,y軸label
    axs0_title_text = axs[0].set_title(u'區域性加權迴歸曲線,k=1.0',FontProperties=font)
    axs1_title_text = axs[1].set_title(u'區域性加權迴歸曲線,k=0.01',FontProperties=font)
    axs2_title_text = axs[2].set_title(u'區域性加權迴歸曲線,k=0.003',FontProperties=font)
    plt.setp(axs0_title_text, size=8, weight='bold', color='red') 
    plt.setp(axs1_title_text, size=8, weight='bold', color='red') 
    plt.setp(axs2_title_text, size=8, weight='bold', color='red') 
    plt.xlabel('X')
    plt.show()
def lwlr(testPoint, xArr, yArr, k = 1.0):
    """
    函式說明:使用區域性加權線性迴歸計算迴歸係數w
    Parameters:
        testPoint - 測試樣本點
        xArr - x資料集
        yArr - y資料集
        k - 高斯核的k,自定義引數
    Returns:
        ws - 迴歸係數
    Website:http://www.cuijiahua.com/
    Modify:
        2017-11-15
    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    m = np.shape(xMat)[0]
    weights = np.mat(np.eye((m)))                                        #建立權重對角矩陣
    for j in range(m):                                                  #遍歷資料集計算每個樣本的權重
        diffMat = testPoint - xMat[j, :]                                
        weights[j, j] = np.exp(diffMat * diffMat.T/(-2.0 * k**2))
    xTx = xMat.T * (weights * xMat)                                       
    if np.linalg.det(xTx) == 0.0:
        print("矩陣為奇異矩陣,不能轉置")
        return
    ws = xTx.I * (xMat.T * (weights * yMat))                            #計算迴歸係數
    return testPoint * ws
def lwlrTest(testArr, xArr, yArr, k=1.0): 
    """
    函式說明:區域性加權線性迴歸測試
    Parameters:
        testArr - 測試資料集
        xArr - x資料集
        yArr - y資料集
        k - 高斯核的k,自定義引數
    Returns:
        ws - 迴歸係數
    Website:
http://www.cuijiahua.com/
    Modify:
        2017-11-15
    """
    m = np.shape(testArr)[0]                                            #計算測試資料集大小
    yHat = np.zeros(m)   
    for i in range(m):                                                    #對每個樣本點進行預測
        yHat[i] = lwlr(testArr[i],xArr,yArr,k)
    return yHat
if __name__ == '__main__':
    plotlwlrRegression()

執行結果如下：

可以看到，當k越小，擬合效果越好。但是當k過小，會出現過擬合的情況，例如k等於0.003的時候。

預測鮑魚的年齡

接下來，我們將回歸用於真是資料。在abalone.txt檔案中記錄了鮑魚（一種水生物→__→）的年齡，這個資料來自UCI資料集合的資料。鮑魚年齡可以從鮑魚殼的層數推算得到。

資料集下載地址：https://github.com/Jack-Cherish/Machine-Learning/blob/master/Regression/abalone.txt

資料集的資料如下：

可以看到，資料集是多維的，所以我們很難畫出它的分佈情況。每個維度資料的代表的含義沒有給出，不過沒有關係，我們只要知道最後一列的資料是y值就可以了，最後一列代表的是鮑魚的真實年齡，前面幾列的資料是一些鮑魚的特徵，例如鮑魚殼的層數等。我們不做資料清理，直接用上所有特徵，測試下我們的區域性加權迴歸。

新建abalone.py檔案，新增rssError函式，用於評價最後迴歸結果。編寫程式碼如下：

# -*- coding:utf-8 -*-
from matplotlib.font_manager import FontProperties
import matplotlib.pyplot as plt
import numpy as np
def loadDataSet(fileName):
    """
    函式說明:載入資料
    Parameters:
        fileName - 檔名
    Returns:
        xArr - x資料集
        yArr - y資料集
    Website:
http://www.cuijiahua.com/
    Modify:
        2017-11-19
    """
    numFeat = len(open(fileName).readline().split('t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr
def lwlr(testPoint, xArr, yArr, k = 1.0):
    """
    函式說明:使用區域性加權線性迴歸計算迴歸係數w
    Parameters:
        testPoint - 測試樣本點
        xArr - x資料集
        yArr - y資料集
        k - 高斯核的k,自定義引數
    Returns:
        ws - 迴歸係數
    Website:
http://www.cuijiahua.com/
    Modify:
        2017-11-19
    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    m = np.shape(xMat)[0]
    weights = np.mat(np.eye((m)))                                        #建立權重對角矩陣
    for j in range(m):                                                  #遍歷資料集計算每個樣本的權重
        diffMat = testPoint - xMat[j, :]                                
        weights[j, j] = np.exp(diffMat * diffMat.T/(-2.0 * k**2))
    xTx = xMat.T * (weights * xMat)                                       
    if np.linalg.det(xTx) == 0.0:
        print("矩陣為奇異矩陣,不能轉置")
        return
    ws = xTx.I * (xMat.T * (weights * yMat))                            #計算迴歸係數
    return testPoint * ws
def lwlrTest(testArr, xArr, yArr, k=1.0): 
    """
    函式說明:區域性加權線性迴歸測試
    Parameters:
        testArr - 測試資料集,測試集
        xArr - x資料集,訓練集
        yArr - y資料集,訓練集
        k - 高斯核的k,自定義引數
    Returns:
        ws - 迴歸係數
    Website:
http://www.cuijiahua.com/
    Modify:
        2017-11-19
    """
    m = np.shape(testArr)[0]                                            #計算測試資料集大小
    yHat = np.zeros(m)   
    for i in range(m):                                                    #對每個樣本點進行預測
        yHat[i] = lwlr(testArr[i],xArr,yArr,k)
    return yHat
def standRegres(xArr,yArr):
    """
    函式說明:計算迴歸係數w
    Parameters:
        xArr - x資料集
        yArr - y資料集
    Returns:
        ws - 迴歸係數
    Website:
http://www.cuijiahua.com/
    Modify:
        2017-11-19
    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    xTx = xMat.T * xMat                            #根據文中推導的公示計算迴歸係數
    if np.linalg.det(xTx) == 0.0:
        print("矩陣為奇異矩陣,不能轉置")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws
def rssError(yArr, yHatArr):
    """
    誤差大小評價函式
    Parameters:
        yArr - 真實資料
        yHatArr - 預測資料
    Returns:
        誤差大小
    """
    return ((yArr - yHatArr) **2).sum()
if __name__ == '__main__':
    abX, abY = loadDataSet('abalone.txt')
    print('訓練集與測試集相同:區域性加權線性迴歸,核k的大小對預測的影響:')
    yHat01 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 0.1)
    yHat1 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 1)
    yHat10 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 10)
    print('k=0.1時,誤差大小為:',rssError(abY[0:99], yHat01.T))
    print('k=1  時,誤差大小為:',rssError(abY[0:99], yHat1.T))
    print('k=10 時,誤差大小為:',rssError(abY[0:99], yHat10.T))
    print('')
    print('訓練集與測試集不同:區域性加權線性迴歸,核k的大小是越小越好嗎？更換資料集,測試結果如下:')
    yHat01 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 0.1)
    yHat1 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 1)
    yHat10 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 10)
    print('k=0.1時,誤差大小為:',rssError(abY[100:199], yHat01.T))
    print('k=1  時,誤差大小為:',rssError(abY[100:199], yHat1.T))
    print('k=10 時,誤差大小為:',rssError(abY[100:199], yHat10.T))
    print('')
    print('訓練集與測試集不同:簡單的線性歸回與k=1時的區域性加權線性迴歸對比:')
    print('k=1時,誤差大小為:', rssError(abY[100:199], yHat1.T))
    ws = standRegres(abX[0:99], abY[0:99])
    yHat = np.mat(abX[100:199]) * ws
    print('簡單的線性迴歸誤差大小:', rssError(abY[100:199], yHat.T.A))

執行結果如下：

可以看到，當k=0.1時，訓練集誤差小，但是應用於新的資料集之後，誤差反而變大了。這就是經常說道的過擬合現象。我們訓練的模型，我們要保證測試集準確率高，這樣訓練出的模型才可以應用於新的資料，也就是要加強模型的普適性。可以看到，當k=1時，區域性加權線性迴歸和簡單的線性迴歸得到的效果差不多。這也表明一點，必須在未知資料上比較效果才能選取到最佳模型。那麼最佳的核大小是10嗎？或許是，但如果想得到更好的效果，應該用10個不同的樣本集做10次測試來比較結果。

本示例展示瞭如何使用區域性加權線性迴歸來構建模型，可以得到比普通線性迴歸更好的效果。區域性加權線性迴歸的問題在於，每次必須在整個資料集上執行。也就是說為了做出預測，必須儲存所有的訓練資料。

總結

1.本文主要介紹了簡單的線性迴歸和區域性加權線性迴歸。

2.訓練的模型要在測試集比較它們的效果，而不是在訓練集上。

3.在區域性加權線性迴歸中，過小的核可能導致過擬合現象，即測試集表現良好，訓練集表現就渣渣了。

4.下篇文章將繼續講解迴歸，會介紹另一種提高預測精度的方法。

5.如有問題，請留言。如有錯誤，還望指正，謝謝！

PS：如果覺得本篇本章對您有所幫助，歡迎關注、評論、贊！

本文出現的所有程式碼和資料集，均可在我的github上下載，歡迎Follow、Star：https://github.com/Jack-Cherish/Machine-Learning

參考資料：

[1] 機器學習實戰第八章內容

《機器學習實戰》學習筆記（十一）：線性迴歸基礎篇之預測鮑魚年齡

《機器學習實戰》學習筆記（十一）：線性迴歸基礎篇之預測鮑魚年齡

設計模式學習筆記（十一）：組合模式

C++學習筆記（十一）：初始化列表、類成員

ROS入門筆記（十一）：編寫與測試簡單的Service和Client (Python)

ROS中階筆記（十一）：ROS 2.0

Hadoop 學習筆記（十一）MapReduce 簡介

【MySQL學習筆記（十一）】之基於成本的單表查詢優化計算與連線查詢的優化計算

機器學習sklearn（十一）：資料處理（六）非線性轉換

SQL學習筆記（十一）Hive SQL和Presto SQL對比

設計模式學習筆記（十一）外觀模式及其應用場景

設計模式學習筆記（十二）：裝飾模式

設計模式學習筆記（十四）：享元模式

設計模式學習筆記（十五）：代理模式

設計模式學習筆記（十六）：職責鏈模式

設計模式學習筆記（十九）：迭代器模式

設計模式學習筆記（十八）：直譯器模式

設計模式學習筆記（十七）：命令模式

Spring學習總結（十一）：Spring中的事務介紹

【Qt】Qt再學習（十一）：圖形檢視框架（Graphics View Framework）的一個小demo

AWS學習筆記（十二）：S3 Storage and Data Management

《機器學習實戰》學習筆記（十一）：線性迴歸基礎篇之預測鮑魚年齡

相關推薦