機器學習包含監督學習、非監督學習、以及強化學習三大部分。

監督學習分為分類和迴歸兩大類。


分類：例如 經過大量水果圖片訓練，識別新水果圖片中是否含有蘋果

迴歸：例如 經過大量 面積-房價 的資料的訓練，預測某個面積的房價

迴歸分析中，又依據描述自變數與因變數之間因果關係的函式表示式是線性的還是非線性的，分為線性迴歸分析和非線性迴歸分析。

B是引數，X是變數

如果Y與B和X都是線性關係，則稱它是雙線性模型

否則為非線性模型

例如下面就是非線性模型

有的非線性模型可以通過適當的變換，轉化成線性模型，有的不可以，例如上面的那個例子就不行。

可以簡單粗暴地做如下區分：

通過指數來進行判斷即可，線性就是每個變數的指數都是1(一次方)，為直線，

非線性就是至少有一個變數的指數不是1，為曲線。

簡單線性迴歸：只包括一個自變數和一個因變數，都為一次方（指數為1），且二者的關係可用一條直線近似表示，這種迴歸分析稱為一元線性迴歸或者簡單線性迴歸。

多元線性迴歸：如果迴歸分析中包括兩個或兩個以上的自變數，且因變數和自變數之間是線性關係，則稱為多元線性迴歸分析。

擬合方程：最小二乘法

非線性迴歸

遇到非線性迴歸問題可以藉助數學手段化為線性迴歸問題處理。

處理方法：

可線性化問題

處理可線性化處理的非線性迴歸的基本方法是，通過變數變換，將非線性迴歸化為線性迴歸，然後用線性迴歸方法處理。假定根據理論或經驗，已獲得輸出變數與輸入變數之間的非線性表示式，但表示式的係數是未知的，要根據輸入輸出的n次觀察結果來確定係數的值。按最小二乘法原理來求出係數值，所得到的模型為非線性迴歸模型(nonlinear regression model)。

不可線性化問題

梯度下降法

詳細可參照：

https://wenku.baidu.com/view/8128c024ae1ffc4ffe4733687e21af45b307fe31.html?rec_flag=default&sxts=1543149787329

https://wenku.baidu.com/view/b2281e22dc36a32d7375a417866fb84ae45cc3ca.html?rec_flag=default&sxts=1543149835023

https://baijiahao.baidu.com/s?id=1584987292368219016&wfr=spider&for=pc