定義符號

m:訓練樣本的數目

n：特徵的數量

x‘s：輸入變/特徵值

y‘s：輸出變數/目標變數

(x,y)：訓練樣本 ->(x⁽ⁱ⁾,y⁽ⁱ⁾):訓練集，第i個訓練樣本，i=1,2..,m

監督學習

定義：(口頭表達，非正式)我們給學習演算法一個數據集，這個資料集由“正確答案”組成，它的目標是給定某個訓練集，需要學習某個函式h:X->Y(x到Y的對映)， 使得h(x)就是一個“好”的預測器，能夠給出相應的輸出值y。函式h稱為hypothesis。

解釋：首先通過訓練集來學習出一個演算法得到一個假設函式h，然後利用假設函式來完成x到y的最好對映。

監督學習的例子

假定我們有一個數據集，它給出了居住地和房子價格的關係，如下表格所示：

假設上面的資料有47組，影象如下圖所示：

這樣根據我們上面給出的訓練集我們要經過一個學習演算法，得到一個假設函式，使得這個假設函式能更好的擬合我們給出的資料，從而在以後當我們給出房屋的大小時能更好的預測房屋的價格。

如上圖所示，假設我們得出的假設函式是一個線性的，這樣上面的函式明顯比下面相對於我們給出的樣本能夠更好的擬合。這就是一個監督問題。

監督學習的分類

當我們想要預測的輸出值為連續的，例如上例中我們的輸出值是價格，那麼該學習問題為一個迴歸（Regression）問題。當輸出值y僅能在一個有限的離散值集合中取值，我們稱之為分類（Classification）問題。