遷移學習(Transfer learning) 

        顧名思義就是就是把已學訓練好的模型引數遷移到新的模型來幫助新模型訓練。考慮到大部分資料或任務是存在相關性的，所以通過遷移學習我們可以將已經學到的模型引數（也可理解為模型學到的知識）通過某種方式來分享給新模型從而加快並優化模型的學習效率不用像大多數網路那樣從零學習（starting from scratch，tabula rasa）。簡單來講我們首先利用大量相關資料進行訓練，再用當前資料空間中的少量資料進行微調。

損失函式（loss function）

是用來估量你模型的預測值f(x)與真實值Y的不一致程度，它是一個非負實值函式,通常使用L(Y, f(x))來表示，損失函式越小，模型的魯棒性就越好。但不是越小越好。

風險函式(risk function)。

風險函式是損失函式的期望，這是由於我們輸入輸出的  遵循一個聯合分佈，但是這個聯合分佈是未知的，所以無法計算。但是我們是有歷史資料的，就是我們的訓練集，  關於訓練集的平均損失稱作經驗風險(empirical risk)，即  ，所以我們的目標就是最小化  ，稱為經驗風險最小化。

目標函式（objective function）

我們不僅要讓經驗風險最小化，還要讓結構風險最小化。這個時候就定義了一個函式  ，這個函式專門用來度量模型的複雜度

到這一步我們就可以說我們最終的優化函式是： ，即最優化經驗風險和結構風險。