這些天在寫前幾個月學習的三維重建方面的知識的同時，也開始學習著目前比較火的深度學習。學習這個不是跟著潮流，總是在想讀研到底學到了什麼。

我想也就是個自學能力吧。其實感覺自己反而有點不自信了，本科畢業什麼都不擔心，可是現在擔心的越來越多，人也慢慢變得浮躁起來，嗨，不多說了，寫一寫這兩天學到的東西，唯有寫點東西才感覺心裡上的踏實。

主要參考吳恩達cs229課程

作者給出問題的引入是房價的問題，房價跟面積有關

然後將這些資料在下面座標系中列出所有的點。

然後給出問題，就是如果我們來了一個新的面積，而面前已有的資料中沒有，那我們該怎麼辦。

首先我們想到的我們用一個曲線去擬合這些點，得到了曲線的方程，這樣自然就可以解出來。

下面之前我們先給出一些概念。

則我們給出一個學習過程

好，下面言歸正傳，給個說明就是

如果y的值是連續的，這就是一個迴歸問題，如果y的值是離散的，這就是一個分類問題。那下面開始學習線性迴歸。

對於上述問題，房價不僅僅跟面積有關還跟很多其他的因素有關，比如臥室的個數。如下圖：

可能房價還與朝向等等其他特徵有關

我們用X1，X2..Xn 去描述特徵裡面的分量，比如x1=房間的面積，x2=臥室的個數等等，我們可以給出y的一個估計函式：

θ這係數也就是許可權，就是這個特徵的份量。

我們令X0=0，則我們就可以把上述公式寫成

也就是轉換到向量中處理

那我們的目標也就是求出這些θ。

我們採用假設法，先假設θ已經得出，那我們就要考慮給出的θ到底好不好呢，怎麼衡量呢

我們採用下面的式子：

這個函式一般稱為損失函式或者錯誤函式，主要來描述我們估計的函式h到底好不好。

對於上述式子中的1/2主要是為了求導用，假設有m個訓練資料，y為真實值，h為估計值

那我們的目標就是求：

在上述最小的情況下θ的值。最好的情況也就是為0，也就是每個y跟h一樣，但一般達不到。那這個怎麼解呢？

首先作者給出的是梯度下降法。

我們對於上述問題可以換個思路，求在情況下的θ，也就是要選擇一個θ是J（θ）最小，那怎麼處理呢。

我們先給出θ的一個初始值，然後改變θ的值，使J(θ)沿梯度下降方向進行減小，即：

（α稱為學習率，j為所有值0,…,n）

為什麼可以寫成單獨一個，因為標量y對列向量X求導：

對N×1向量求導後還是N×1向量 y = f(x1,x2,..,xn) --> dy/dX = (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)'

對於上式我們要求的也就是J(θ)的偏導數，下面我們假設訓練資料只有一個，則可以得到：

則對於單一的訓練資料有：

對於上述的迭代更新的方式有兩種，批梯度下降，增量梯度下降。

批量梯度下降，就是對所有的訓練資料都計算完之後在對θ更新，即

i是訓練資料，j是維度，不要搞混了。

另外一種是增量梯度下降，就是每訓練一個數據就對θ進行更新，如下：

然後看判斷是否繼續還是結束