2020年10月6日，下午3：10 - 4：10 北交九教中102講座記錄。

主題：few shot learning

較為系統的介紹了小樣本學習的主流技術脈絡： 遷移學習、多工學習、元學習。

其目的是提升機器學習模型在不同場景的泛化能力。

note :模型和一系列的預處理手段都可以視作模型的先驗知識。

note: 整體框架圖。

· Transfer learning : 單任務的遷移 （舉例：學數學 考數學）

· Multi-task learning: 多工的遷移（各種任務之間可以通過共享權重的方式進行關聯，else:contact, add, multi-head, 固定主幹）(舉例：學數學和物理 考數學和物理 --- 任務之間有關聯關係，可能是相互促進的，也可能是相互制約的）

· Meta-learning: 多工學習得到的模型和知識，遷移到新的任務場景下。(舉例：野外、 open set domain adaption...）

note : 單任務 從loss上看，儘可能地降低損失，並且正則項保證模型不是很大。

note: 多工就是把每個任務地loss加起來。（loss可以通過加權地方式進行獲取，例如與目標任務比較接近時，weight大一些）

note: （important page) 精準地概括了三者之間地關係。元學習實質上是多工和transfer的前後結合。

其他PPT就是龍教授整理的具體works，就不貼了。

others:

1、知識遷移很大，遷移學習很小；

2、Few-shot的學習率調整很重要，甚至影響了復現過程和實驗結果；

3、如果把多工學習的資料集合在一起，就變成了單任務學習；

4、整體感覺few-shot方向還有很多東西可以做，元學習有時效果不比遷移學習方法好。