機器學習之嶺迴歸
阿新 • • 發佈：2019-02-16
看機器學習實戰接觸到這部分，所以總結一下。
嶺迴歸應對的是普通的線性迴歸中，矩陣不可逆情況。例如，特徵值過多，而樣本量不夠。
回顧一下線性迴歸：
迴歸分析中常用的最小二乘法是一種無偏估計。對於一個適定問題，X通常是列滿秩的
採用最小二乘法，定義損失函式為殘差的平方，最小化損失函式
上述優化問題可以採用梯度下降法進行求解，也可以採用如下公式進行直接求解
回顧數學知識：
若矩陣秩等於行數，稱為行滿秩；若矩陣秩等於列數，稱為列滿秩。滿秩矩陣是一個很重要的概念, 它是判斷一個矩陣是否可逆的充分必要條件其中，矩陣的秩: 用初等行變換將矩陣A化為階梯形矩陣, 則矩陣中非零行的個數就定義為這個矩陣的秩, 記為r（A）。
當X不是列滿秩時，或者某些列之間的線性相關性比較大時，就容易出現問題。