論文地址：http://www.icsi.berkeley.edu/pubs/vision/Hoffman_ECCV2012.pdf。

簡介

這篇論文為Hoffman發於2012年ECCV，雖然是12年的，但是新穎之處在於其將聚類的方法用到了域適應中。該方法針對於多源域域適應場景，並且還不知道資料屬於哪個域的情況-----因為在一個數據集中可能資料就屬於不同的域，如下情況：

   

為了在不知道資料哪個域的情況下進行多源域遷移，文中提出的方法包含兩個部分：1.多源域遷移（在知道源域資料屬於哪個域的情況下進行遷移） 2.域聚類（明確資料屬於哪個域）

多源域遷移

文中提出的多源域遷移是在一篇關於單源域特徵轉換方法[2]的基礎上做出的改進，直接上優化方法：

其中c表示K個類別中的一個，y為一個測試點，以上優化方法的含義就是，在得到資料y的情況下，將它屬於K個類別中擁有最大概率的類別作為y的標籤。而p(c|y)又由p(d=k|y)p(c|d=k,y)得到，意思是：已知y的情況下，y屬於域k的概率是多少，而在y屬於域k的情況下，y屬於類c的概率又是多少，通過概率最大化，獲得最優標籤。另外，概率p(c|d=k,y)的求解如下：

其中 ${\varphi }_{}$

A 、 ϕ B \phi_{\mathcal{A}}、\phi_{\mathcal{B}} 表示源域和目標域上的資料對映， $x_{}^{}$

k ∗ ( y ) x_k^*(y) 表示在域k中離資料點y最近的點。 $W_j$則為在域j上的一個變換矩陣。公式很容易理解，也就是獲取y在域k下，通過與y最近的點代表所屬類別，除上在全部域上的相同的計算下獲得的概率。

最後，通過在已知域標籤和源訓練資料上訓練一個SVM分類器，該分類器的概率輸出就是p(d=k|y)。

域聚類

對於不包含有域標籤的資料集，則通過域聚類推斷出最接近真實域標籤 $a$的預測域標籤 $\hat{a}$。域聚類分為四步，以一個例子說明，假如目標是如下：

即：將異構的資料分為同構的資料（線條影象的特徵空間和普通影象特徵空間），為了完成這個目標，域聚類將通過四個步驟進行：

1.     2. 3.     4.

• 第一步：根據影象類別標籤（人臉or單車）劃分為兩類
• 第二步：在上一步劃分為兩部分的情況下，在每類樣本上獨立的進行聚類，得到四種不同的類別：線條型人臉、普通人臉影象、普通單車影象、線條性自行車影象
• 第三步：在第二步的基礎上，為聚類加上約束
• 第四步：迭代2-3步，輸出域標籤

另外域聚類的思路圖如下：

其中 $\pi^G、\pi^L$為權重向量， $Z_j^G \in (0,1)$用於指示叢集j是否要被分配到某個域中。 $Z_j^L \in (0,1)$用於指示資料點i是否要被分配到某個叢集中。 $x_i$為資料點。 $\mu_j$為區域性聚群的均值，代表一個區域性聚群。 $m$為一個域的均值，用於代表一個域。

所以以上的思路是：1.對於資料點 $x_i$，根據對各聚群的權重值獲取各聚群的指示向量(0 or 1)，然後通過各聚群的均值 $\mu_i$，決定出資料點 $x_i$應該屬於哪個聚群。

2.類似的，對於一個聚群 $\mu_i$，根據對各域的權重值獲取各域的指示向量(0 or 1)，然後通過各域的均值 $m$，決定出 $\mu_i$應該屬於哪個域。

由此，各相關概率如下：

其中 $\sigma I$為聚群上的協方差。公式很好理解，在此不做解釋。
到此為止，算是完成了第一、二步了，在第三步中，我們需要對聚類加上約束條件，即：一個聚群只包含了來自一個類別的資料，並且一個域只包含了一個聚群，也是一個域包含的類別數和聚群的類別數相同。其優化過程由K-means目標函式和EM演算法完成，優化函式如下：

其中 $\sum \delta(l_i \neq l_j)Z_{ij}^L=0$表示所有分配到聚群j的資料點 $x_i$必須包含有相同的類別標籤。 $\sum \sum \delta(labek(j)=c)Z_{jk}^G=1$表示每個域必須與它所包含的聚群有著相同的類別標籤。最後關於幾個引數的優化如下：

• $Z_{ij}^L$：對於每個資料點 $x_i$，給最小化 $(x_i-\mu_j)^2$的聚群j設定 $Z_{ij}^L=1$
• $\mu_j$：對於一個聚群j，設定 $\mu_j = \frac{\sum Z_{ij}^L x_i + \sum Z_{jk}^G m_k}{\sum Z_{ij}^L} + \sum Z_{jk}^G$
• $Z_{jk}^G$：對於一個聚群j，給最小化 $Z_{jk}^G(\mu_j - m_k)^2$的域設定 $Z_{jk}^G=1$