元學習、遷移學習、對比學習、自監督學習與少樣本學習的關係解讀
文章目錄
前言
本人的研究方向是少樣本影象分類，在閱讀論文時會遇到很多元學習、遷移學習這樣的名詞，這些詞在不同的論文中關係彷彿都不一樣，人們的說法也不統一。因此在此記錄一下自己的邏輯，希望不再混亂了~
還有對比學習和自監督學習，最近自己也在看，並且和少樣本學習（FSL）相關，就一起放在這裡。
文章中出現的ppt截圖是自己講組會用的，大家僅作參考。
如需轉載，請註明來源！
一、對比自監督學習與FSL
1.對比學習與自監督學習
對比自監督學習是一種當下流行的演算法，其實它是指通過對比學習來完成自監督學習的過程。 對比學習的精髓就在於在特徵域拉近相似正樣本對之間的距離，拉遠負樣本對的距離。
在自監督學習中，對於當前訓練圖片而言，正樣本對通常由來自於同一張圖片的兩個隨機增廣圖片構成，負樣本對由來自於其他圖片的增廣圖片構成。
對比學習還可以用於有監督學習，這時正樣本對是來自同一類的圖片，負樣本對是來自不同類的圖片。
2.自監督學習與FSL
為了檢驗自監督學習演算法的優劣，通常在下游任務上對由自監督學習獲得的特徵提取器進行檢驗。下游任務包括很多種，FSL就是其中一種。但是在自監督學習演算法中，很少有人會在FSL上作檢驗，一般會選擇線性探針、目標檢測等常用方法。
二、元學習與FSL
1.元學習是什麼
元學習在2018年就被提出了，也可能更早就出現了這個概念。人們在提到它是，都說“元學習是指學會學習”，這個解釋很抽象啊。
在參考一些文章後，我認為元學習的核心是，網路通過在大量相似任務上做訓練獲取元知識，就可以在新任務上快速學習以完成這個新任務。
這裡有兩個重點：
1、什麼是元知識？
在元學習中，存在元訓練和元測試階段，其中元訓練（上面ppt中的outer-level）就是為了獲取最佳的元知識，使得網路在元測試階段（inner-level）能快速解決新任務。
元知識這個詞也有點抽象，它是指影響網路學習的一些因素，比如網路權重的初始值、網路結構、學習率等超引數，等等。
2、新任務和用於元訓練的那一堆任務有什麼關係？
新任務需要和元訓練使用的任務同分布！ 這是元學習的一個限制。從上面ppt中可以看到，損失函式是對任務的分佈求均值獲得的。
2.元學習與FSL
元學習其實就是解決FSL問題的一種方法，這兩種學習沒有概念上的混淆，他們是單獨的兩種問題。
但是現在大部分解決少樣本學習問題的演算法都採用了元學習方法，所以人們很容易將二者混為一談。
我們來看下面的對比，就知道元學習為什麼總是被用於解決FSL了。
從上圖中可以看出元學習希望網路能快速學習，而FSL要求網路在少量樣本下就可以學會分類，這其實是對應的。少量樣本就代表著快速學習。 FSL要求的新類別其實就對應著元學習的新任務。
因此，元學習和FSL完美對應，就可以應用上去啦！
同時，少樣本學習的效果也是驗證元學習演算法效能的一種方式。
三、遷移學習與FSL
1.遷移學習
遷移學習是一個很廣的概念，但凡涉及到知識遷移的情況都可以稱為遷移學習。
比如說從大資料集向小資料集的遷移，從ImageNet向CIFAR 10影象分類的遷移。因此元學習就是一種遷移學習，它是同分布任務之間的遷移。
同時，之前提到的檢驗自監督學習演算法效能的下游任務，也涉及了遷移。這是從上游任務向下遊任務的遷移。
2.遷移學習與FSL
瞭解了遷移學習的概念後，我們可以發現，FSL目前就是依靠遷移學習來完成的！
這是因為元學習和自監督學習是目前用來解決FSL的兩種方式，而這兩種方法又都屬於遷移學習。
總結
以上就是我在閱讀論文及部落格後，得到的一個自認為可以捋順的關係結構。這些“學習”的概念確實會然在一起，但是需要我們完全區分開。
如果大家有補充或修正，歡迎留言啊！
如需轉載，請註明來源！