本篇文章將對自監督學習的要點進行總結，包括以下幾個方面：

• 監督學習與自監督學習
• 自監督學習需求背後的動機
• NLP 和CV中的自監督學習
• 聯合嵌入架構
• 對比學習
• 關於資料增強的有趣觀察
• 非對比學習
• 總結和參考

監督學習與自監督學習

監督學習：機器學習中最常見的方法是監督學習。在監督學習中，我們得到一組標記資料（X，Y），即（特徵，標籤），我們的任務是學習它們之間的關係。但是這種方法並不總是易於處理，因為-

1. 訓練通常需要大量資料，而標記數百萬行資料既耗時又昂貴，這就對許多不同任務的訓練模型造成了瓶頸。
2. 以這種方式訓練的模型通常非常擅長手頭的任務，但不能很好地推廣到相關但是非相同領域內的任務。因為網路只專注於學習 X 的良好表示以生成之間的直接對映X 和 Y ，而不是學習 X 的良好通用表示，所以無法轉移到類似的其他任務。

這種學習通常會導致對概念的非常膚淺的理解，即它學習了 X 和 Y 之間的關係（它優化了網路以學習這種對映），但它不理解 X 的實際含義或它背後的含義。

自監督學習 (Self-supervised learning / SSL)：自監督學習也適用於（特徵、標籤）資料集，即以監督的方式，但它不需要人工註釋的資料集。它的基本思想是遮蔽/隱藏輸入的某些部分，並使用可觀察的部分來預測隱藏的部分。正如我們將在下面看到的，這是一個非常強大的想法。但是我們不稱其為無監督學習是因為它仍然需要標籤，但不需要人工對其進行標註。

SSL的優勢是如果我們手頭有大量未標記的資料，SSL的方式可以讓我們利用這些資料。這樣模型可以學習更強大的資料底層結構的表示，並且這些表示比監督學習中學到的更普遍，然後我們可以針對下游任務進行微調。

需求和動機

在過去的 10 年裡，深度學習取得了長足的進步。幾年前被認為計算機似乎不可能完成的任務（例如機器翻譯、影象識別、分割、語音識別等）中，已經達到/超過了人類水平的表現。在經歷了十年的成功故事之後，深度學習現在正處於一個關鍵點，人們已經慢慢但肯定地開始認識到當前深度學習方法的基本侷限性。

人類和當前人工智慧的主要區別之一是人類可以比機器更快地學習事物，例如僅通過檢視 1-2 張照片來識別動物，只需 15-20 小時即可學會駕駛汽車。人類如何做到這一點？常識！雖然我們還不知道常識是如何產生的，但卻可以通過思考人類如何實際瞭解世界來做出一些有根據的猜測：

• 人類主要通過觀察學習，很少通過監督學習。從嬰兒出生的那一刻起（或者之前），它就不斷地聽到/看到/感覺到周圍的世界。因此，發生的大部分學習只是通過觀察。
• 人類可以利用隨著時間的推移獲得的知識（感知、運動技能、基礎物理來幫助導航世界等），而當前的 SOTA 機器卻不能。

自監督學習通過學習從未遮蔽部分預測資料的遮蔽部分來模仿的人類這部分的能力。

完整文章：

https://www.overfit.cn/post/c6185b513a564c6cb5022abe0bafcbec