論文地址：https://arxiv.org/pdf/1803.09210。

簡介

這篇文章介紹了一種深度域適應方法，構造了兩個網路以及兩個判別器，兩個網路作用是分別提取源域和目標域的，然後一個判別器用於獲取源域樣本的重要性權重，第二個分類器使用經過加權的源域樣本特徵和目標域資料進行優化作為目標分類器。該方法的思路與之前的SAN[2]類似，不同的是SAN中只使用了一個網路，源域和目標域的資料輸入到同一個網路中，然後網路提取的特徵輸入到與源域類別個數相同個判別器中，最後使用這些判別器加權後的結果以及目標判別器結果用於優化網路，而在本文的方法中將源域和目標域分別輸入到兩個網路，並且不分享引數以提取出更多的域特定特徵，並且只使用了兩個判別器來進行樣本的加權和目標分類器的優化。網路框架如下：

Importance Weighted Adversarial Nets

如上圖所示，綠色部分是源域和目標域的特徵提取器，有斜槓的塊表示的是經過預訓練的網路，同時在訓練階段引數固定不動。藍色部分是第一個域判別器，用於獲取源域樣本的重要性權重。紅色部分是第二個域判別器，其通過經過加權的源域樣本和目標域樣本minimax網路。

應用場景：源域 ${\mathcal{D}}_s$

如上圖，網路需要優化的有三個部分：1.特徵提取器的引數 2.第一個域判別器 $D$ 3.第二個判別器 $D_0$ 我們也將從三個方面介紹網路。

優化域判別器D

判別器D的作用只是用於獲取基於當前目標域特徵，源域特徵的重要性權重。該域判別器的思想與生成對抗網路中判別器的思想類似，當判別器根據特徵提取器提取出來的特徵判別出接近1時，那麼就認為這些特徵屬於源域中與目標域資料較為互斥的特徵，分配給這些特徵的權值就會較小，而當域判別器D的判別器接近0時，就認為這些源域特徵與目標域特徵接近，並對目標分類器有幫助，則分配給這些特徵的權重就會較大，而這些權重將用於第二個判別器 $D_0$中對源域特徵進行加權。另外，域判別器D的優化則是根據前面兩個特徵提取器的效果進行，判別器D的損失函式如下：

在上圖網路框架中標識了 $F_s(x)$以及 $F_t(x)$代表的內容，並結合上圖網路框架可以看出判別器D的損失值就是根據判別器對兩個特徵提取器的判別效果加成得出。另外，關於源域樣本的權重分配如下:

$\tilde{\omega}(z) = 1-D(z)$

由此，當判別器D的結果越接近1，分配的權重越低，越接近0，分配的權重越高，也表示源域中的樣本對目標域分類越有用。

值得注意的是，D的損失不用於後向傳播更新特徵提取器 $F_t$，因為D的梯度是從沒有經過加權的源域樣本學習到的，這將不能給優化 $F_t$提供一個好的指示。

優化判別器 $D_0$

判別器 $D_0$則通過經過加權的源域樣本和目標域樣本進行訓練，並根據 $D_0$的結果優化 $F_t$，因為這裡的判別器D的結果是通過與目標域相關的源域資料以及目標域本身的資料得來的，所以該結果與 $F_t$有很大的指導作用。而在 $D_0$中參考GAN中的思想，最大化判別器 $D_0$的損失，最小化生成器 $F_t$的損失，其損失函式如下：

其中第一項為一個正則化項，使用的熵最小化原則，希望通過熵最小化來促進類別之間的低密度分離（這在SAN中同樣用到）。第二項則為判別器對源域樣本結果進行權重化處理，第三項則為判別器對目標域資料的結果損失。後面兩項與第一個判別器D類似，只不過加上了權重和一個正則化項，然後引數 $\lambda、\gamma$是權重引數。為了解決最大最小優化，作者使用了GRL層[3]來完成(同樣在SAN中用到)。

優化源域特徵提取器 $F_s$

因為網路的側重點是在目標域上的優化，所以在網路中首先對源域特徵提取器 $F_s$進行了一個預訓練，並在網路訓練階段固定 $F_s$的引數，而這個預訓練就是通過源域的標籤對 $F_s$進行有監督訓練，優化方式大家應該都比較熟悉：

其中C為有監督分類器，公式比較簡單，就不做介紹啦。

總結

該方法可以看做是在SAN基礎上的一個優化----源域和目標域的特徵提起之間分開進行，並沒有進行引數共享，以提取到更多的域特定特徵，同時網路的結構比SAN的簡單，解決了源域樣本篩選和部分遷移的問題。

參考

[1] Zhang J, Ding Z, Li W, et al. Importance Weighted Adversarial Nets for Partial Domain Adaptation[J]. 2018.
[2] Cao Z, Long M, Wang J, et al. Partial Transfer Learning with Selective Adversarial Networks[J]. 2017.
[3] Ganin Y, Lempitsky V. Unsupervised Domain Adaptation by Backpropagation[J]. 2015:1180-1189.