—— 原文釋出於本人的微信公眾號“大資料與人工智慧Lab”（BigdataAILab），歡迎關注。

什麼是遷移學習？

遷移學習（Transfer Learning）是一種機器學習方法，是把一個領域（即源領域）的知識，遷移到另外一個領域（即目標領域），使得目標領域能夠取得更好的學習效果。

通常，源領域資料量充足，而目標領域資料量較小，這種場景就很適合做遷移學習，例如我們我們要對一個任務進行分類，但是此任務中資料不充足（目標域），然而卻又大量的相關的訓練資料（源域），但是此訓練資料與所需進行的分類任務中的測試資料特徵分佈不同（例如語音情感識別中，一種語言的語音資料充足，然而所需進行分類任務的情感資料卻極度缺乏），在這種情況下如果可以採用合適的遷移學習方法則可以大大提高樣本不充足任務的分類識別結果。

為什麼現在需要遷移學習？

前百度首席科學家、斯坦福的教授吳恩達（Andrew Ng）在曾經說過：「遷移學習將會是繼監督學習之後的下一個機器學習商業成功的驅動力」。 

在本次2016年的 NIPS 會議上，吳恩達 給出了一個未來 AI方向的技術發展圖，還是很客觀的： 

毋庸置疑，監督學習是目前成熟度最高的，可以說已經成功商用，而下一個商用的技術 將會是 遷移學習（Transfer Learning），這也是 Andrew 預測未來五年最有可能走向商用的 AI技術。

吳恩達在一次採訪中，也提到遷移學習會是一個很有活力的領域，我們之所以對遷移學習感到興奮，其原因在於現代深度學習的巨大價值是針對我們擁有海量資料的問題。但是，也有很多問題領域，我們沒有足夠資料。比如語音識別。在一些語言中，比如普通話，我們有很多資料，但是那些只有少數人說的語言，我們的資料就不夠龐大。所以，為了針對資料量不那麼多的中國少數人所說的方言進行語音識別，能將從學習普通話中得到的東西進行遷移嗎？我們的技術確實可以做到這一點，我們也正在做，但是，這一領域的進步能讓人工智慧有能力解決廣泛得多的問題。

傳統的機器學習與遷移學習有什麼不同呢？

在機器學習的經典監督學習場景中，如果我們要針對一些任務和域 A 訓練一個模型，我們會假設被提供了針對同一個域和任務的標籤資料。如下圖所示，其中我們的模型 A 在訓練資料和測試資料中的域和任務都是一樣的。 

即使是跟遷移學習比較相似的多工學習，多工學習是對目標域和源域進行共同學習，而遷移學習主要是對通過對源域的學習解決目標域的識別任務。下圖就展示了傳統的機器學習方法與遷移學習的區別： 

什麼適合遷移？

在一些學習任務中有一些特徵是個體所特有的，這些特徵不可以遷移。而有些特徵是在所有的個體中具有貢獻的，這些可以進行遷移。

有些時候如果遷移的不合適則會導致負遷移，例如當源域和目標域的任務毫不相關時有可能會導致負遷移。

遷移學習的分類

根據 Sinno Jialin Pan 和 Qiang Yang 在 TKDE 2010 上的文章，可將遷移學習演算法，根據所要遷移的知識表示形式（即 “what to transfer”），分為四大類：

• 基於例項的遷移學習（instance-based transfer learning）：源領域（source domain）中的資料（data）的某一部分可以通過reweighting的方法重用，用於target domain的學習。

• 基於特徵表示的遷移學習（feature-representation transfer learning）：通過source domain學習一個好的（good）的特徵表示，把知識通過特徵的形式進行編碼，並從suorce domain傳遞到target domain，提升target domain任務效果。

• 基於引數的遷移學習（parameter-transfer learning）：target domain和source domian的任務之間共享相同的模型引數（model parameters）或者是服從相同的先驗分佈（prior distribution）。

• 基於關係知識遷移學習（relational-knowledge transfer learning）：相關領域之間的知識遷移，假設source domain和target domain中，資料（data）之間聯絡關係是相同的。

前三類遷移學習方式都要求資料（data）獨立同分布假設。同時，四類遷移學習方式都要求選擇的sourc doma與target domain相關，

下表給出了遷移內容的遷移學習分類： 

遷移學習的應用

用於情感分類，影象分類，命名實體識別，WiFi訊號定位，自動化設計，中文到英文翻譯等問題。

遷移學習的價值

• 複用現有知識域資料，已有的大量工作不至於完全丟棄；

• 不需要再去花費巨大代價去重新採集和標定龐大的新資料集，也有可能資料根本無法獲取；

• 對於快速出現的新領域，能夠快速遷移和應用，體現時效性優勢。

總結

總之，遷移學習將會成為接下來令人興奮的研究方向，特別是許多應用需要能夠將知識遷移到新的任務和域中的模型，將會成為人工智慧的又一個重要助推力。

歡迎關注本人的微信公眾號“大資料與人工智慧Lab”（BigdataAILab），獲取更多資訊