引子：房價預測

給定一組房價數據$x^{(i)},y^{(i)}$,其中x可以是標量scala,也可以是向量，比如可以為房屋面積，還可以包含房屋年齡，地段等信息，y為房屋價格。我們需要找出x和y之間的關系，也就是一個模型，將來給定輸入的一個未知數據，我們可以預測房價。模型可以先以線性回歸模型$y= \omega x + b$作為預設的模型，我們的任務就是要根據已知的數據來求解對應的$\omega和b$模型參數。

無約束優化問題

房價預測問題，我們可以抽象為以下無約束優化問題：

• 如果自變量x為標量，比如只包含一個面積特征的話，我們的模型就是$f: R \rightarrow R$,目標為:$min f(x) \; x \in R$
• 如果自變量為向量，則我們的模型就是$f: R^n \rightarrow R$,我們的目標就是$min f(x) \; x \in R^n$

機器學習數學知識積累總結