Improving Open Set Domain Adaptation Using Image-to-Image Translation學習筆記
Improving Open Set Domain Adaptation Using Image-to-Image Translation學習筆記
目錄abstract
文章通過在特徵空間和畫素空間對齊樣本來解決開放集域自適應問題，其中在畫素空間的對齊要將源影象本身變換到儘可能靠近目標域的另一個影象域。
方法分為兩個模組：翻譯與適應。其中翻譯部分使用了CycleGAN模型，而適應部分使用了OpenBP模型，並使用變換後的源域樣本與目標域未標註的樣本進行訓練。
1.INTRODUCTION
OpenBP使用一個共享的特徵提取器將兩個域的樣本變換到同一潛在空間，並學習該潛在空間內未知類的決策邊界。當源域和目標域差異較大時，這可能會遇到問題。
作者要探索的問題就是將源域的樣本影象變換後使得使其儘可能靠近目標域
沒有成對訓練樣本的情況下，將影象翻譯成另一個領域的“風格”。
於是，作者將影象到影象的翻譯加入開放集域適應框架，提出 Open Set Translation and Adaptation Network (OSTAN）。框架首先使用 CycleGAN作為翻譯模型，將源影象變換成接近目標域的影象域，減少了兩個域之間的風格差異，並且能夠更有效地進行潛在空間中的聯合學習；之後使用OpenBP作為適應模型的框架，使用變換後的源域樣本與目標域未標註的樣本進行訓練。源域樣本畫素級別的變換減輕了由領域風格差異引起的問題，並允許更高效地學習一個聯合潛在空間。
2.OUR APPROACH
2.1Problem Statement and Notation
使用\(S\)表示源域，\(T\)表示目標域。源域由樣本\(x_s\in \mathbb{R}^{n \times m}\)以及樣本對應的標籤\(Y_s \in \{1...K\}^n\)組成，其中K表示源域類別的個數，n表示源域樣本的總數，m表示每個樣本的維度。目標域由未標註的樣本\(x_T \in \mathbb{R}^{n'\times m}\)，\(n'\)表示目標域樣本的數量。開集域適應的任務就是學習一個模型將目標域中的樣本分類到\(\{1...K+1\}\)中的一類，其中第K+1類為未知類別。
2.2 Framework Overview (OSTAN)
模型框架由翻譯部分與適應部分組成。
翻譯部分的目的是學習一種能夠有效將源域影象翻譯成目標影象的一種翻譯模型。我們選擇使用CycleGAN，是因為它在各種圖到圖的翻譯應用中具有優越的效能。
具體來說，作者使用兩個CycleGAN，\(G_{S\rightarrow T}\)將源域的影象翻譯到目標域，\(G_{T\rightarrow S}\)將目標域的影象翻譯到源域。這兩個GAN網路都是使用帶有分類器的經典GAN損失和cycle-consistent損失來訓練的，以增強畫素級的一致性。
適應部分使用類似OpenBP的模型架構，但使用翻譯變換後的源域資料與目標域的未標註資料來進行訓練。OpenBP的架構中使用一個特徵提取器G來將圖片資料變換到一個潛在空間，並使用一個分類器C來將潛在表示分類到已知類別與未知類別。
OSTAN的核心思想就是將源域的圖片翻譯到一個距離目標域較近的領域，以此來減小特徵提取器學習兩個域共同特徵的困難。
2.3 Translation Network
為了將源域的圖片翻譯變換到目標域，作者通過最小化損失\(\mathcal{L}_{GAN}\)來訓練一個特徵提取器\(G_{S\rightarrow T}\)和一個域分類器\(D_T\)：
提取器\(G_{S \rightarrow T}\)用來訓練輸出翻譯變換後的樣本\(G_{S\rightarrow T}(x_s)\),域分類器\(D_T\)用來區別源域翻譯變換後的樣本\(G_{S\rightarrow T}(x_s)\)與目標域樣本\(x_t\)。於是GAN的目標函式就是
而使用 cycle-consistent loss是為了讓翻譯變換後的樣本\(G_{S\rightarrow T}(x_s)\)與未變換的源域樣本在畫素級別保持一定的相似性，其中就使用了另外一個GAN網路，包括\(G_{T\rightarrow S}\)和分類器\(D_S\)，這個GAN網路的損失與公式（1）相似：
於是整個 cycle-consistent loss為：
影象之間的相似性使用L1範數衡量。
2.4 . Adaptation Network
適應部分使用了OpenBP模型，其中包括一個特徵提取器G與分類器C，向特徵提取器輸入翻譯變換後的源域樣本\(G_{S\rightarrow T}(x_s)\)與目標域樣本\(x_t\),分類器C將特徵提取器提取到的特徵分類為K+1類，K個已知類與一個未知類。
1.使用交叉熵損失來計算\(\mathcal{L}_s\)，完成翻譯變換後樣本的分類。
2.訓練分類器輸出\(p(y=K+1|X_t=t,(0<t<1)\)，使用二元交叉熵損失計算\(\mathcal{L}_{adv}\),
於是該部分的優化目標就是在分類器上最小化\(\mathcal{L}_s\)與\(\mathcal{L}_{adv}\)：
同時在特徵提取器上最小化\(\mathcal{L}_s\)，最大化\(\mathcal{L}_{adv}\)
2.5 Complete Objective for OSTAN
OSTAN框架的整體損失為：
其中的\(\lambda\)用來控制翻譯變換部分的相對重要性，\(\mu\)是一個在-1，1兩個值之間變化的動態引數，其中1對應分類器，-1對應特徵提取器。
OSTAN的整體優化目標為：
3 EXPERIMENT
3.1 Baselines
OpenBP：該方法與OpenBP的不同就是該方法使用了經過翻譯變換後的源域樣本與目標域未標註的樣本進行訓練，而OpenBP使用的初始的源域樣本與目標域未標註的樣本進行訓練。
OSVM：該方法基於支援向量機，如果目標樣本預測概率低於任何類別的閾值，就將樣本分類到未知類別。
OSVM+MMD：基於MMD方法的OSVM
OSVM+BP：基於DANN網路的Backpropagation方法
其中MMD與BP都用來提取特徵，之後進行OSVM 的訓練。