使用語義保持對抗嵌入網路的零樣本視覺識別

摘要：我們提出了一種新的框架，稱為語義保持對抗嵌入網路（SP-AEN），用於零樣本視覺識別（ZSL），其中測試影象及其類別在訓練期間都是不可見的。 SP-AEN旨在解決流行的基於嵌入的ZSL系列中的固有問題 - 語義損失，其中一些語義在訓練期間將被丟棄，如果它們對訓練類沒有判別性，但可能對於識別測試類變得至關重要。具體而言，SP-AEN通過引入獨立的 視覺 - 語義空間嵌入器 來防止語義上的損失，該嵌入器將語義空間解開為兩個子空間，用於兩個可以說是有衝突的目標： 分類和重構 。 通過對兩個子空間的對抗性學習 ，SP-AEN可以將語義從重建子空間轉移到判別子空間，實現對未見類的零樣本識別的改進。與之前的工作相比，SP-AEN不僅可以提升分類效果，還可以生成照片般逼真的影象，證明了語義儲存的有效性。在四個流行的基準測試上：CUB，AWA，SUN和aPY，SP-AEN在調和平均值方面遠遠優於其他最先進的方法，絕對效能差異為12.2％，9.3％，4.0％和3.6％[62]。

1. 語義損失是用什麼衡量的？
2. 獨立的視覺-語義空間嵌入器是怎麼防止語義損失的？

基於結構化知識圖的多標籤零樣本學習

摘要：在本文中，我們提出了一種用於**多標籤零樣本學習**（ML-ZSL）的新型深度學習架構，它能夠為每個輸入例項預測多個未見類的標籤。 受人類在感興趣物件之間利用語義知識的方式的啟發，我們提出了一個框架，其中包含用於描述多個標籤之間關係的**知識圖**。 我們的模型**從語義標籤空間學習資訊傳播機制，可以應用於模擬已見和未見類標籤之間的相互依賴性**。 通過對視覺推理的結構化知識圖的這種研究，我們證明了我們的模型可以應用於解決多標籤分類和ML-ZSL任務。 與現有技術方法相比，我們的方法可以實現相當或提升的效能。

使用深度內部學習的“零樣本”超解析度

摘要：在過去幾年中深度學習導致了超級解析度（SR）效能的巨大飛躍。然而，受監督，這些SR方法僅限於特定的訓練資料，其中從其高解析度（HR）對應物獲取低解析度（LR）影象是預定的（例如，雙三次降取樣），而沒有任何分散注意力的偽像（例如， ，感測器噪聲，影象壓縮，非理想PSF等）。然而，真實LR影象很少遵守這些限制，導致SotA（現有技術）方法的SR結果較差。在本文中，我們介紹了“零樣本”SR，它利用了深度學習的力量，但不依賴於先前的訓練。我們利用單個影象內部資訊的內部重現，並在測試時間訓練一個小的影象特定CNN，僅對從輸入影象本身提取的示例進行訓練。因此，它可以適應每個影象的不同設定。這允許執行實際舊照片，噪聲影象，生物資料以及獲取過程未知或非理想的其他影象的SR。在這樣的影象上，我們的方法優於基於SotA CNN的SR方法，以及先前的無監督SR方法。據我們所知，這是第一個無監督的基於CNN的SR方法。

零樣本草圖-影象雜湊

最近的研究表明，通過跨模式二進位制表示學習方法可以有效地處理大規模基於草圖的影象檢索（SBIR），其中漢明距離匹配顯著加速了相似性搜尋的過程。提供一組固定的預定義的類別的訓練和測試資料，最先進的SBIR和跨模態雜湊工作可獲得可接受的檢索效能。但是，當查詢草圖的類別在訓練期間從未見到時，大多數現有方法都會失敗。

在本文中，上述問題被簡要介紹為一種新穎但實際的零樣本SBIR雜湊任務。我們詳細說明了這項特殊任務的挑戰，並因此提出了零樣本草圖影象雜湊（ZSIH）模型。**構建了端到端的三網路架構，其中兩個被看作二進位制編碼器。第三個網路分別利用Kronecker融合層和圖卷積，減輕了草圖影象的異質性，增強了資料間的語義關係。**作為ZSIH的重要組成部分，我們制定了一種生成雜湊方案，用於重建零樣本檢索的語義知識表示。據我們所知，ZSIH是第一個適用於SBIR和跨模態搜尋的零樣本雜湊工作。在兩個擴充套件的資料集上進行了綜合實驗，即Sketchy和TU-Berlin，其中使用新穎的零樣本訓練-測試資料拆分。所提出的模型明顯優於相關工作。

基於合成例項的廣義零樣本學習

摘要：我們提出了廣義零樣本學習的生成框架，其中訓練和測試類不一定是不相交的。基於變分自編碼器架構，由概率編碼器和概率條件解碼器組成，我們的模型可以根據各自給定的類屬性生成已見/未見類新的樣本。這些樣本隨後可用於訓練任何現成的分類模型。我們的**編碼器 - 解碼器架構的一個關鍵方面是反饋驅動機制**，其中**判別器（多變量回歸器）學習將生成的樣本對映到相應的類屬性向量**，從而實現改進的生成器。我們的模型生成和利用來自未見類的示例來訓練分類模型的能力自然有助於減輕在廣義零樣本學習設定中預測已見類的偏差。通過一系列全面的實驗，我們證明了我們的模型在幾個基準資料集上優於幾種最先進的方法，無論是標準還是廣義零樣本學習。

基於特徵生成網路的零樣本學習

摘要：由於已見類和未見類之間的極端訓練資料不平衡，大多數現有的最先進的方法未能在具有挑戰性的廣義零樣本學習任務中獲得滿意的結果。 為了避免對未見類的標記示例的需要，我們提出了一種新的生成對抗網路（GAN），它綜合了基於類級語義資訊的CNN特徵，提供了直接從類的語義描述符到類條件特徵分佈的捷徑。我們提出的方法，將Wasserstein GAN與分類損失，能夠生成足夠有判別性的CNN特徵來訓練softmax分類器或任何多模式嵌入方法。 我們的實驗結果表明，在零樣本學習和廣義零樣本學習設定中，在五個具有挑戰性的資料集（CUB，FLO，SUN，AWA和ImageNet）上對最先進的準確率有顯著提高。

基於語義嵌入和知識圖的零樣本識別

摘要：我們考慮零樣本識別的問題：為沒有訓練示例的類別學習一個視覺分類器，僅使用類別的詞嵌入及與其他類別的關係，來提供視覺資料。處理不熟悉或新穎類別的關鍵是遷移從熟悉的類中獲得的知識來描述不熟悉的類。在本文中，我們基於最近引入的圖卷積網路（GCN），並提出了一種使用語義嵌入和分類關係來預測分類器的方法。給定學到的知識圖（KG），我們的方法將每個節點作為輸入語義嵌入（表示視覺類別）。在一系列圖卷積之後，我們為每個類別預測視覺分類器。在訓練期間，給出幾個類別的視覺分類器以學習GCN引數。在測試時，這些過濾器用於預測未見類的視覺分類器。我們證明了我們的方法對KG的噪聲很魯棒。更重要的是，與目前最先進的結果相比，我們的方法在效能方面有顯著改善（從一些指標的2％~3％到少數指標高達20％）。

網路監督學習遇到零樣本學習：細粒度分類的混合方法

摘要：由於龐大的細粒度類別的高註釋成本，細粒度影象分類（其旨在區分各個從屬類別之間的細微區別）仍然是非常困難的任務。為了應對好的標記訓練影象的稀缺性，現有的工作主要遵循兩個研究方向：1）利用可以自有獲取的無人工標註的網路影象; 2）僅標註一些細粒度類別並將知識遷移到其他細粒度類別，這屬於零樣本學習（ZSL）的範圍。但是，上述兩個方向都有其自身的缺點。第一個方向，Web影象的標籤非常雜亂，並且Web影象和測試影象之間的資料分佈是相當不同的。第二個方向，ZSL與傳統監督學習之間的效能差距仍然很大。上述兩個方向的缺點促使我們設計一個新的框架，該框架可以**聯合利用網路資料和輔助標記類別來預測與任何標記良好的訓練影象無關的測試類別**。三個基準資料集的綜合實驗證明了我們提出的框架的有效性。

1. 測試類別和網路資料類別相交嗎？

基於隱含特徵判別性學習的零樣本學習

摘要：零樣本學習（ZSL）的目標是通過學習影象表示和語義表示之間的嵌入空間來識別未曾見過的影象類別。多年以來，在已有的研究成果中，中心任務都是學習合適對映矩陣以對齊視覺空間和語義空間，而學習用於ZSL 的**判別性表示的重要性卻被忽視了。在本工作中，我們回顧了已有的方法，並證明了為 ZSL的視覺和語義例項學習判別性表示的必要性。我們提出了一種端到端的網路，能夠做到：1）通過一個放大網路自動發現判別性區域；2）在一個為使用者定義屬性和隱含屬性引入的擴增空間中學習判別性語義表示**。我們的方法在兩個有挑戰性的ZSL 資料集上進行了大量測試，實驗結果表明我們的方法顯著優於之前最佳的方法。

判別性表示，判別性視覺表示，判別性語義表示，隱含屬性。

基於語義關係保持的零樣本學習

摘要：零樣本學習具有縮放識別模型而不需要額外的訓練資料的潛力，因此受到關注。通常ZSL通過將類別與其屬性等語義資訊相關聯來實現這種能力。但是，我們認為這種正規化所提供的潛力尚未得到充分利用。在這項工作中，我們提出**使用一組關係來利用屬性跨越的空間結構**。我們設計目標函式來保持嵌入空間中的這些關係，從而引入**嵌入空間的語義**。通過對五個基準資料集的大量實驗評估，我們證明了誘導嵌入空間的語義有利於零樣本學習。我們的方法優於最先進的方法，無論是在標準零樣本點設定還是更貼近實際的廣義零樣本設定。我們還證明了我們的方法如何用於**對屬性資訊不可用的類別的影象進行近似語義推斷**。

嵌入空間的語義？
屬性不可用的類，近似語義推斷？

核零樣本學習

摘要：在本文中，我們解決了零樣本學習的開放性問題。其原理基於學習一個對映，該對映將從影象提取的特徵向量與描述感興趣的物件和/或場景的屬性向量相關聯。反過來，這允許通過對映到描述新類的新定義的屬性向量來匹配特徵向量來對看不見的物件類和/或場景進行分類。由於這種學習任務的重要性，已經存在許多學習語義，概率，線性或分段線性對映的方法。相比之下，我們應用完善的核方法來學習特徵空間和屬性空間之間的非線性對映。我們提出了一個簡單的學習目標，其靈感來自於線性判別分析，核-目標對齊和核極化方法[12,8,4]，它們改善了不一致性。我們評估了演算法在多項式以及移位不變高斯和Cauchy核上的效能。儘管我們的方法很簡單，但我們在幾個零樣本資料集和基準測試（包括最近的AWA2資料集[45]）上獲得了最先進的結果。

Avatar網路：利用特徵修飾的多尺度零樣本風格遷移

摘要：零樣本藝術風格遷移是一種重要的影象合成問題，旨在將任意風格遷移到為內容影象。然而，現有方法在泛化和效率之間的權衡阻礙了實時的高質量零樣本風格遷移。在本文中，我們解決了這一難題，並提出了一種高效而且有效的Avatar-Net，可以實現任意風格的視覺上合理的多尺度遷移。我們方法的關鍵要素是風格裝飾器，它通過來自任意風格影象的語義對齊風格特徵來構成內容特徵，這不僅在整體上匹配其特徵分佈，而且還在裝飾特徵中保留了細節風格模式。通過將此模組嵌入到融合多尺度風格抽象的影象重建網路中，Avatar-Net在一個前饋傳遞中為任何風格影象呈現多尺度風格。我們證明了所提出的方法在生成高質量風格化影象方面的最先進的效果和效率，其中一系列連續應用包括多種風格整合，視訊風格化等。

噪聲文字零樣本學習的生成對抗方法

摘要：大多數現有的零樣本學習方法都把該問題當作視覺語義嵌入。鑑於生成對抗網路（GAN）生成影象的能力，我們利用GAN從文字描述中推想未見類，從而識別出沒有示例的新類。具體來說，我們提出了一個簡單但有效的生成模型，該模型將關於未見類的噪聲文字描述（例如維基百科文章）作為輸入，併為該類生成合成的視覺特徵。通過新增偽資料，零樣本學習自然地轉換為傳統的分類問題。另外，為了保持生成特徵的類間判別性，提出視覺軸正則化作為顯式監督。與以前的方法使用複雜工程正則化項不同，我們的方法可以很好地抑制噪聲而無需額外的正則化。根據經驗，我們證明我們的方法在基於文字的零樣本學習的最大可用基準上始終優於最先進的方法。

基於直推式無偏嵌入的零樣本學習

摘要：大多數現有的零樣本學習（Zero-Shot Learning，ZSL）方法都存在強偏問題：訓練階段未見（目標）類的例項在測試時往往被歸類為已見（源）類之一。因此，在廣義 ZSL 設定中部署後，它們的效能很差。在本文，我們提出了一個直接而有效的方法，稱為準完全監督學習（QFSL），來緩解偏置問題。我們的方法遵循直推式學習的方式，假定標記的源影象和未標記的目標影象都可用於訓練。在語義嵌入空間中，被標記的源影象被對映到由源類別指定的若干個嵌入點，並且未標記的目標影象被強制對映到由目標類別指定的其他點。在 AwA2，CUB 和 SUN 資料集上進行的實驗表明，我們的方法在遵循廣義 ZSL 設定的情況下比現有最先進的技術高 9.3％至 24.5％，在遵循傳統 ZSL 設定下有 0.2％至 16.2％的提升。

如何給未標記影象歸類？

基於學習序列匹配網路的一次性動作定位

基於學習的時間動作定位方法需要大量的訓練資料。然而，期望捕獲每個動作類別的動態的這種大規模視訊資料集不僅非常昂貴，而且也不實用就是因為存在無數個動作類別。當訓練樣本很少且罕見時（例如，當前公共可用資料集中不存在的目標動作類時），這對當前方法提出了一個關鍵的限制。為了應對這一挑戰，我們概念化了一個新的基於示例的動作檢測問題，其中只提供了幾個示例，目標是在未修剪的視訊序列中查詢這些示例的出現。為實現這一目標，我們引入了一種新穎的一次性動作定位方法，可以減少對大量訓練樣本的需求。我們的解決方案採用匹配網路的一次性學習技術，並利用相關性來挖掘和定位以前看不見的類的動作。我們在THUMOS14和Activity Net資料集上評估我們的一次性動作定位方法，我們修改了配置以適應我們的一次性問題設定。

CLEAR：基於累積學習的一次性單類影象識別

摘要：這項工作解決了單樣本單類別分類的新問題。目標是基於單個影象示例估計新類別的分類決策邊界。我們的方法利用遷移學習來模擬從卷積神經網路提取的輸入表示到分類決策邊界的轉換。 我們使用深度神經網路從大規模標記資料集及其從ImageNet生成的相關類決策邊界中學習這種轉換，然後應用學習的決策邊界對後續查詢影象進行分類。我們在幾個基準資料集上測試了我們的方法，並且顯著優於基線方法。

基於結構化匹配網路的一次性零件標註

摘要：圖表通常描繪複雜的現象，並作為視覺和文字推理的良好測試平臺。然而，使用自然影象理解方法理解圖表需要大規模的圖表訓練資料集，這很難獲得。相反，這可以作為匹配問題來解決，標記圖表之間，影象之間或兩者之間的匹配問題。這個問題非常具有挑戰性，因為沒有明顯的顏色和紋理會使區域性線索模糊不清並需要全域性推理。我們考慮一次性部件標記的問題：給定某類別僅有單個源影象並在目標影象中標記物件的多個部分。對於這種集合到集合的匹配問題，我們引入了結構化集合匹配網路（SSMN），這是一種結合了卷積神經網路的結構化預測模型。使用全域性歸一化來訓練SSMN以最大化相應元素之間的區域性匹配分數和所有匹配元素之間的全域性一致性分數，同時還強制兩組之間的匹配約束。 SSMN在三個標籤轉移方案中明顯優於幾個強基線：圖表到圖表，在200多個類別的新圖表資料集上評估;影象到影象，在Pascal部件資料集之上構建的資料集上進行評估;以及影象到圖表，在跨這些資料集的遷移標籤上進行評估。

基於記憶體匹配的一次性影象識別

摘要：在本文中，我們介紹了使用記憶體增強卷積神經網路（CNN）的新思路，並學習在一次性學習中即時學習未標記影象的網路引數。具體來說，我們提出了記憶體匹配網路（MM-Net） - 一種新穎的深層體系結構，它探索訓練過程，遵循訓練和測試條件必須匹配的理念。從技術上講，MM-Net將一組標記影象（支援集）的特徵寫入記憶體，並在執行推理時從記憶體中讀取，從而整體利用集合中的知識。同時，Contextual Learner語境學習器以順序方式使用儲存器槽來預測CNN的引數以用於未標記的影象。整個架構通過一次只顯示每個類的幾個示例進行訓練，並將學習從小批量轉換到小批量，這是為一次性學習定製的，其在測試時提供了一些新類別的示例。與傳統的一次性學習方法不同，我們的MM-Net可以輸出一個統一的模型，而不管樣本和類別的數量。在兩個公共資料集，即Omniglot和mini ImageNet，上進行了廣泛的實驗，並且與現有技術方法相比顯式了優異的結果。更值得注意的是，我們的MM-Net在Omniglot上的單次精確度從98.95％提高到99.28％，在mini ImageNet上從49.21％提高到53.37％。

逐步利用未知：逐步學習基於一次性視訊的行人再識別

摘要：我們專注於基於視訊的行人再識別（re-ID）的一次性學習。用於re-ID任務的未標記的軌跡可以通過預處理輕鬆獲得,（例如行人檢測和跟蹤）。在本文中，我們提出了一種通過逐步學習,逐步但穩定地提高卷積神經網路（CNN）特徵表示的判別能力來利用未標記的軌跡的方法。我們首先為每個身份使用一個標記的軌跡初始化CNN模型。然後我們通過以下兩個步驟迭代地更新CNN模型：1.從未標記的軌跡中抽取具有最可靠偽標籤的幾個候選者; 2.根據所選資料更新CNN模型。我們提出了一種逐步取樣的方法來逐步增加所選擇的偽標記候選者的數量，而不是現有工作中應用的靜態取樣策略。我們系統地研究瞭如何選擇偽標記的軌跡作為訓練集以充分利用它們的方式。值得注意的是，我們方法的rank-1準確度在MARS資料集上優於最新方法21.46點（絕對值，即62.67％對41.21％），在DukeMTMC-VideoReID資料集上高出16.53點。

學習比較：基於關係網路的少樣本識別

摘要：我們提出了一個概念上簡單，靈活且通用的框架，用於少樣本學習，其分類器必須學習識別只給出幾個例子的新類。我們的方法稱為關係網路（RN），是從頭開始端到端訓練的。在元學習中，它學習學習深度距離度量以比較劇集中的少量影象，每個劇集旨在模擬少樣本設定。一旦經過訓練，RN就能夠通過計算查詢影象與每個新類的少數示例之間的關係得分來對新類別的影象進行分類，而無需進一步更新網路。除了改進少樣本學習效能外，我們的框架還可以輕鬆擴充套件到零樣本學習。對五個基準測試的廣泛實驗表明，我們的簡單方法為這兩個任務提供了統一有效的方法。

動態的少量視覺學習而不忘記

摘要：人類視覺系統具有顯著的能力，能夠毫不費力地從幾個示例中學習新的概念。在機器學習視覺系統中模仿相同的行為是一個有趣而且非常具有挑戰性的研究問題，在真實世界視覺應用中具有許多實際優勢。在這種情況下，我們的工作的目標是設計一個少樣本視覺學習系統，在測試時它將能夠從少量訓練資料中有效地學習新的類別，同時它還不會忘記它的初始訓練類別（這裡稱為基本類）。為了實現這個目標，我們提出：（a）用基於注意力的少樣本分類權重生成器來擴充套件物件識別系統;（b）重新設計ConvNet模型的分類器作為特徵表示和分類權重向量之間的餘弦相似函式。後者除了統一對新類別和基本類別的認識之外，還導致了能更好地概括“未見”類別的特徵表示。我們在Mini-ImageNet上廣泛地評估了我們的方法，我們成功提升了之前的少樣本識別技術（即我們分別在1個樣本和5個樣本設定下分別達到56.20％和73.00％），而同時我們也不犧牲任何基本類的準確性，這是大多數先前方法缺乏的特徵。最後，我們將我們的方法應用於最近推出的少樣本基準[4]，我們也達到了最先進的結果。

基於預測啟用內參數的少樣本影象識別

摘要：在本文中，我們對少樣本學習問題感興趣。特別地，我們關注的是一個具有挑戰性的場景，其中類別數很大，而且每個新類的示例數量非常有限，例如1個，2個或者3個。受與相同類別相關的神經網路中的引數與啟用之間密切關係的激發，我們提出了一種新方法，可以通過直接預測來自啟用的引數使預訓練神經網路適配新的類別。在適配新類別時不需要訓練，並且通過單個前向傳遞實現快速推理。我們通過在ImageNet資料集上進行少樣本影象識別來評估我們的方法，在新類別上實現了最好的分類準確度，同時保持了在大規模類別上的可比效能。我們還在MiniImageNet資料集上測試我們的方法，它強烈優於以前最先進的方法。

基於多內容GAN的少樣本字型風格遷移

摘要：在這項工作中，我們專注於對高度風格化文字進行部分觀察並概括觀察以在裝飾字型中生成未觀察到的字形的挑戰。 為了從非常少的示例中按照一致的樣式生成一組多內容影象，我們提出了一種端到端堆疊條件GAN模型，該模型考慮了沿著網路層的通道和樣式的內容。我們提出的網路**將給定字形的風格轉換為看不見的字型的內容**，該網路捕獲了真實世界中發現的高度風格化的字型，例如電影海報或圖表上的字型。 我們尋求遷移印刷風格（例如襯線和耳朵）以及文字風格化（例如顏色漸變和效果）。我們將實驗基於我們收集的資料集，包括10,000種不同風格的字型，並展示了從極少數觀察到的字形中有效的概括。

風格轉換成內容？

基於大規模擴散的少樣本學習

摘要：本文考慮了訓練階段只有幾個帶註釋的樣本時從影象中推斷出影象標籤的問題。 這種設定通常被稱為少樣本學習，其標準方法是重新訓練在訓練樣本豐富的其他類上學習的卷積神經網路的最後幾層。我們考慮基於大量影象的半監督設定來支援標籤傳播。 這可以通過利用大規模相似性圖構造的最新進展來實現。 我們證明了，儘管概念簡單，高達數億張影象的縮放標籤傳播導致了少樣本學習狀態下的最先進精度。

基於蓋印權重的少樣本學習

摘要：人類的視覺系統能夠在看到一個或幾個訓練樣本後立即識別新穎的視覺類別。我們描述瞭如何通過在少樣本學習期間直接設定來自新穎訓練樣本的最後一層的權重來給ConvNet分類器增加類似功能。我們稱這個過程為權重蓋印，因為它根據訓練示例的嵌入層啟用的適當縮放副本直接設定新類別的權重。蓋印過程為隨機梯度下降的訓練提供了有價值的補充，因為它提供了即時又良好的分類效能，併為將來的任何進一步微調提供了初始化。我們展示了該蓋印過程如何與基於代理的嵌入相關。然而，它的不同之處在於，每個新類只學一個蓋印權重向量，而不是依賴於通常和嵌入方法一起使用的訓練例項的最近鄰距離。我們的實驗表明，使用蓋印權重的均值比使用最近鄰居例項嵌入提供的泛化更好。

基於假想資料的少樣本學習

摘要：人類可以快速學習新的視覺概念，也許是因為他們可以輕鬆地視覺化或**想象新物體從不同角度看像什麼**。合併這種幻化新概念的新例項的能力可能有助於機器視覺系統更好地執行少樣本學習，即從幾個例子中學習概念。我們提出了一種基於這種想法的少樣本學習新方法。我們的方法建立在元學習（“學習學習”）的最新進展的基礎上，將元學習器和產生額外訓練示例的“幻化器”相結合，並聯合優化兩個模型。我們的幻化器可以被整合到各種元學習器中並提供顯著收益：當只有一個訓練樣本可用時，分類精度提高了6個點，產生了具有挑戰性的ImageNet少樣本分類基準上最先進的效能。

用於語義分割的全卷積自適應網路

摘要：深度神經網路的最新進展令人信服地證明了在大型資料集上學習視覺模型的高能力。然而，收集專家標記的資料集尤其是畫素級標註是一個非常昂貴的過程。一個吸引人的選擇是渲染合成數據（例如，計算機遊戲）並自動生成ground truth。然而，簡單地應用在合成影象上學習的模型可能由於域漂移而導致真實影象上的高泛化誤差。在本文中，我們從視覺外觀級別和表示級域適應的角度來促進這個問題。前者使源域影象看起來好像是從目標域中的“風格”中抽取而後者嘗試學習域不變表示。具體來說，我們提出了完全卷積自適應網路（FCAN），一種新穎的深層架構，結合了外觀自適應網路（AAN）和表示自適應網路（RAN）的語義分割。AAN學習畫素空間中從一個域到另一個域的變換，而RAN以對抗性學習方式利用學到的源域和目標域表示最大限度地欺騙​​域判別器。從GTA5（遊戲視訊）到城市景觀（城市街景）的遷移的語義分割進行了廣泛的實驗，與最先進的無監督域自適應技術相比，我們提出的方法取得了優異的成果。更顯著地是，我們獲得了一項新的記錄：在無監督的環境中，BDDS（drive-cam視訊）的mIoU為47.5％。