1. 損失函式：均方誤差

2. 使用梯度下降法求解 $\theta$

3. 正規方程法 $\theta =($

   X T X ) − 1 X
   T Y \theta = (X^TX)^{-1}X^TY ，沒有正則化項

4. 如何解決非線性的問題
   方法1：推廣到多項式迴歸
   方法2：核函式，前提是ridge迴歸，即加了 $L_{}$

   2 L_2 正則化
   表示定理：凡是進行 $L_2$正則化的線性問題都可以使用核函式的技巧。但是！！！通常不採用這個方法，因為每個樣本點都必須參與核計算，這帶來的計算複雜度是相當高的。！！！！！並不像SVM一樣具有稀疏解！！！
   方法3：區域性加權線性迴歸

5. 通過極大化對數似然可以推匯出最小二乘
   獨立同分布假設， $\varepsilon_i$服從均值為0，方差為 $\sigma^2$的高斯分佈。

6. 特徵需要進行歸一化，原因1：使得不同特徵處於相同的量級範圍，不至於出現部分特徵主導輸出結果的情況。原因2：此外，歸一化會帶來附加效果：進行梯度下降的時候，加速收斂，量級縮放到同一尺度使得搜尋的跳躍更加平滑，避免反覆震盪的情況

擴充套件：如果機器學習模型使用梯度下降法求最優解時，歸一化往往非常有必要，否則很難收斂甚至不能收斂

[1] 表示定理的證明
https://blog.csdn.net/qq_34993631/article/details/79345889
[2] 區域性加權線性迴歸
https://www.cnblogs.com/czdbest/p/5767138.html 這篇文章裡面有個地方有誤，應該是：波長 $\tau$越大，遠距離樣本權值下降越慢

https://blog.csdn.net/wyl1813240346/article/details/78562654
[3] 特徵歸一化
https://www.zhihu.com/question/274640730/answer/376781767