Open Set Domain Adaptation by Backpropagation(OSBP)筆記
Open Set Domain Adaptation by Backpropagation(OSBP)筆記
目錄反向傳播開集域適應
在前面介紹的迭代分配變換開集域適應方法中，源域私有標籤空間中的樣本也參與到了目標域樣本的分類中。Saito等人在2018年提出了基於反向傳播的開集域適應[3]（Open Set Domain Adaptation by Backpropagation, OSBP），該方法假設源域私有標籤空間中的樣本不存在或不可訪問
該方法的主要貢獻包括以下幾方面： 其一，該方法在訓練中沒有使用源域私有標籤空間中的樣本，任務挑戰性增加，但方法的適用範圍更廣。其二，針對上述背景設定，反向傳播開集域適應使用了一種新的對抗性學習方法，該方法能夠訓練特徵生成器學習特徵的表示，從而將目標域屬於私有標籤空間的樣本從共享標籤空間中分離。
模型結構及訓練
該方法使用一個特徵生成器G根據輸入的樣本來生成特徵，再使用一個分類器C來接收特徵生成器G生成的特徵，並輸出目標域樣本分類為各個類別的概率。通過這樣的模型設定，該方法能有效地將屬於目標域私有標籤空間中的樣本從共享標籤空間中分離，之後將共享標籤空間中源域的樣本分佈與目標域的樣本分佈對齊。
模型的具體結構如圖5-2-2-2所示，該方法假設已標註的源域樣本\(x_s\)和其相應的標籤\(y_s\)可用，以及未標註的目標域樣本\(x_t\)可用，通過訓練一個特徵生成器G來接受輸入\(x_s\)或\(x_t\);並設計分類器C從特徵生成器G中獲取特徵並將這些特徵分類為K+1類。因此，分類器C對於每個樣本都會輸出一個K+1維的邏輯向量\(\{l_1,l_2,l_3...,l_{k+1}\}\)，然後使用softmax函式將分類器C輸出的邏輯向量變換為樣本所屬類別的概率。這樣一個目標域樣本x被分類為類別j的概率為其中\(p(y=j|x)\)是概率值。當\(1\leqslant j \leqslant K\)
圖5-2-2-2 基於反向傳播的開集域適應方法的網路模型
關於模型的訓練，該方法首先要訓練分類器來為目標域私有標籤空間中的未知類別構造一個決策邊界，從而識別出目標域中屬於私有標籤空間的樣本。之後，該方法通過訓練特徵生成器來欺騙分類器。特徵生成器必須能將目標域中屬於私有標籤空間的樣本從共享標籤空間中分離。如果訓練分類器輸出\(p(y=K+1|x_t)=1.0\)，再訓練特徵生成器欺騙它，那麼特徵生成器最終會使目標域的分佈與源域的分佈完全一致，特徵生成器便只能降低目標域樣本分類為未知類別的概率，但這種方法不能直接用於共享標籤空間中未知類別樣本的分離。而反向傳播開集域適應方法訓練分類器輸出\(p(y=K+1|X_t=t,(0<t<1)\)，再訓練特徵生成器來欺騙分類器，最大化分類器的誤差。特徵生成器可以選擇增加樣本分類為未知類別的概率值，即樣本被認為屬於目標域的私有標籤空間；同樣，特徵生成器也可以選擇減小樣本分類為未知類別的概率值，使得\(p(y=K+1|X_t)<t\)，即該樣本被分類到源域中的相應類別。總之，特徵生成器能夠選擇將目標域樣本分類到源域相應類別還是將它分類為未知類別。在所有的實驗中，t的值都設定為0.5。
模型訓練
首先使用標準交叉熵損失計算\(L_s(x_s,y_s)\),並訓練分類器和特徵生成器最小化\(L_s(x_s,y_s)\),從而對源域樣本\(x_s\)進行正確的分類：
接著使用二元交叉熵損失計算\(L_{adv}(x_t)\)，從而訓練分類器為目標域私有標籤空間中的樣本\(x_t\)並建立邊界：
總體的目標函式定義為：
綜上，該方法的流程為：在每次訓練的迭代中，首先從源域\(\{X_s,Y_s\}\)中取出數量為m的小批量樣本\(\{\{x_s,y_s\}^{(1)},...,\{x_s,y_s\}^{(m)}\}\)，從目標域取出數量為m 的小批量樣本\(\{x_t^{(1)},...,x_t^{(m)}\}\)，再依次計算\(L_s(x_s,y_s)\)與\(L_{adv}(x_t)\)，在計算\(L_{adv}(x_t)\)的梯度的時候，該方法使用了一個梯度反轉層，使得模型可以根據目標函式來更新分類器與特徵生成器的引數。
效能分析
反向傳播開集域適應方法中對於Office-31資料集的設定與迭代分配變換開集域適應方法完全相同，但反向傳播開集域適應方法在無監督域適應下，使用BP、OSVM、MMD + OSVM以及BP+OSVM作為實驗的基線。其實驗結果如圖5-2-3-4所示。該方法在OS項的準確性幾乎總是比OS*項好，這意味著許多屬於共享類別的目標樣本被分類為未知類別。這是因為OSVM被訓練來檢測目標域私有類別中的樣本，所以可能輕微傾向於將目標樣本分類為未知類別。
圖5-2-3-5方法二在OS、OS*項的實驗結果
在實驗中，作者還改變了目標域中私有類別的比例來檢視該方法識別精度的變化，其結果如圖5-2-3-6所示，識別的精度隨著目標域中私有類別比例的提升而下降。此外，作者還改變了方法中分類器將樣本分類為未知類別的概率值t的大小，隨著t值的變大，私有類別中得樣本識別精度在上升，但是整體OS以及OS*項得精度在下降。
圖5-2-3-6方法二改變目標域私有類別比例的實驗結果
圖5-2-3-7方法二改變未知類別的概率值t的實驗結果
最後經過在數字資料集以及物體資料集中與基線的比較，證明該方法的效能較之前的方法有了進一步的提升。