github code

CyCADA論文中，定義了一種問題——無監督適配，即僅提供源資料\(X_S\)和源標籤\(Y_S\)，以及源域目標資料\(X_T\)，沒有目標標籤或者不利用它。問題的目的是學習一個模型\(f\)，它可以正確預測目標資料的標籤。

CYCADA 的模型基本如上圖所示，論文的主要思路來自於cycleGAN, 利用cycle GAN來完成image-level的適配問題。通過講影象變換到目標域來實現域適配的問題。

源域訓練模型的loss函式

\[\mathcal{L}_{task}(\mathcal{f}_S, \mathrm{X}_S, \mathrm{Y}_S) = -\mathbb{E}_{(x_S,y_S)~(X_S,Y_S)}\sum_{k=1}^{K}\mathbb{1}_{k=y_s}\log{(\sigma(f_S^{(k)}(x_s)))} \]

其中\(\sigma\)

是softmax

在論文中，加入語義一致性（semantic consistency）是一個貢獻，因為已知源標籤。語義損失為：

\[L_{sem}(G_{S \rightarrow T}， G_{T \rightarrow S}, X_S, X_T, f_S) = L_{task}(f_S, G_{T \rightarrow S}(X_T), p(f_S, X_T)) + L_{task}(f_S, G_{S \rightarrow T}(X_S), p(f_S, X_S)) \]

損失函式如下：

\[\begin{aligned} & L_{CyCADA}(f_T, ,X_S, X_T, Y_S, G_{S \rightarrow T}, G_{T \rightarrow S}, D_S, D_T) \\ &= L_{task}(f_T, G_{S \rightarrow T}(X_S), Y_S)\\ &+ L_{GAN}(G_{S \rightarrow T}, D_T, X_T, X_S) \\ &+ L_{GAN}(G_{T \rightarrow S}, D_S, X_S, X_T)\\ & + L_{GAN}(f_T, D_{feat}, f_S(G_{S \rightarrow T}(X_S)), X_T)\\ & + L_{cyc}(G_{S \rightarrow T}, G_{T \rightarrow S}, X_S, X_T)\\ & + L_{sem}(G_{S \rightarrow T}, G_{T \rightarrow S}, X_S, X_T, f_S) \end{aligned} \]

第一項\(L_{task}(f_T,G_S→T(X_S),Y_S)\)

表示，源影象\(X_S\)經過變換（全卷積網路？）\(G_S→T\)偽目標影象， 然後該影象經過分割網路得到源預測結果，與源標籤\(Y_S\)得到\(L_{task}\)損失；

第二項\(L_{GAN}(G_S→T,D_T,X_T,X_S)\)表示，變換\(G_S→T\)根據源影象\(X_S\)生成偽目標影象去fool對抗判別器\(D_T\)， 並且該判別器嘗試從源目標資料（source target data）（生成？）中識別出真實目標資料（real target data）。

第三項類似於第二項，然後就是CyCleGAN的思路。

第四項為特徵水平的GAN損失，如圖1中橙色部分。

第五項為CyCleGAN

中的重建損失。第六項為語義一致性，如圖1中黑色部分。