半監督遷移學習-Deep Asymmetric Transfer Network for Unbalanced Domain Adaptation
來源:AAAI2018
本文是提出半監督遷移學習框架DATN,解決源域和目標域資料不平衡的問題,屬於領域自適應中的第二種正規化:將目標域對映到源域
框架的主要思想是使用源域的豐富資料和標籤幫助解決目標域因資料稀少造成的效能差的問題。
主要分為兩步
第一步:通過自編碼器學習兩個域的特徵表示
通過無監督方式學習特徵表示
重構誤差
有標籤資料的分類誤差
最後,結合非監督及監督的損失函式,
第二步:非對稱遷移
(1)
學習一個對映G,將目標域的資料對映到源域。即將兩個域的特徵表示對齊
(2)適配源域和目標域分類器(利用有標籤資料)
文章聲稱這樣做的目的是可以加強對輔助域豐富資料的使用,同時可以防止將輔助域的無用資料遷移進來。
其次,對於非監督部分,文章使用Maximum Mean Discrepancy (MMD)來約束輔助域和目標域的分佈相似,即:
最後的目標函式是:
通過塊座標下降演算法優化。
相關推薦
半監督遷移學習-Deep Asymmetric Transfer Network for Unbalanced Domain Adaptation
來源:AAAI2018 本文是提出半監督遷移學習框架DATN,解決源域和目標域資料不平衡的問題,屬於領域自適應中的第二種正規化:將目標域對映到源域 框架的主要思想是使用源域的豐富資料和標籤幫助解決目標域因資料稀少造成的效能差的問題。 主要分為兩步 第一步:通過自編碼器學習兩個域的特徵表示
半監督學習演算法——ATDA(Asymmetric Tri-training for Unsupervised Domain Adaptation)
Asymmetric Tri-training for Unsupervised Domain Adaptation (2017 ICML)論文筆記 Abstract Tri-training(周志華,2005, 無監督學習領域最經典、知名度最高的做法)利用三個分類器按
Duplex Generative Adversarial Network for Unsupervised Domain Adaptation
Duplex Generative Adversarial Network for Unsupervised Domain Adaptation 域自適應嘗試將從源域獲得的知識傳送到目標域,即測試資料所在的域。主要的挑戰在於源域和目標域之間的分佈差異。大多數現有工作通常通過最小化分
遷移學習簡介(transfer learning)
遷移學習簡介(transfer learning) https://blog.csdn.net/qq_33414271/article/details/78756366 一、什麼是遷移學習? 遷移學習將一個場景中學到的知識遷移到另一個場景中 達叔也說將來遷移學習也會
[深度學習] 影象反捲積的深度積神經網路 Deep Convolutional Neural Network for Image Deconvolution
《影象反捲積的深度積神經網路》 《Deep Convolutional Neural Network for Image Deconvolution》 Li Xu, Jimmy SJ. Ren, Ce Liu, Jiaya Jia NIPS 2014 pdf 摘要
【Paper】Deep & Cross Network for Ad Click Predictions
目錄 背景 相關工作 主要貢獻 核心思想 Embedding和Stacking層 交叉網路(Cross Network) 深度網路(Deep Network) 組合層(Combination Layer) 理論分析 多項式近似
MSCNN論文解讀-A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection
多尺度深度卷積神經網路進行快速目標檢測: 兩階段目標檢測器,與faster-rcnn相似,分為an object proposal network and an accurate detection network. 文章主要解決的是目標大小不一致的問題,尤其是對小目標的檢測,通過多
論文筆記《The application of two-level attention models in deep convolutional neural network for FGVC》
這篇文章是2015年的,作者使用提出了兩級注意力的方法,來進行細粒度分類。 以鳥類分類為例。作者在object-level和part-level兩個級別分別對鳥進行分類,將得到的分數相加綜合後得到最後的分類結果。 上圖是鳥分類在object-level的一個流程圖,先用select
遷移學習(transfer learning)、多工學習(multi-task learning)、深度學習(deep learning)概念摘抄
本文在寫作過程中參考了諸多前輩的部落格、論文、筆記等。由於人數太多,在此不一一列出,若有侵權,敬請告知,方便我進行刪改,謝謝!!! 遷移學習(Transfer Learning) 遷移學習出現的背景如下:在一些新興領域很難得到我們需要的大量的訓練資料,另外,傳統的機器學習
監督學習,無監督學習和半監督學習
思想 learn 尋找 很多 ear 目標 dsm 工作 變量 概念:監督學習、無監督學習與半監督學習 監督學習 : supervised learning 無監督學習 : unsupervised learning 半監督學習 : semi-supervised le
詳解使用EM算法的半監督學習方法應用於樸素貝葉斯文本分類
post target 集中 之間 大量 ise 網上 tar 多項式 1.前言 對大量需要分類的文本數據進行標記是一項繁瑣、耗時的任務,而真實世界中,如互聯網上存在大量的未標註的數據,獲取這些是容易和廉價的。在下面的內容中,我們介紹使用半監督學習和EM算法,充分結合大
遷移學習(Transfer Learning)
style 多任務 部分 容易 完全 In bubuko 出現 很快 深度學習中在計算機視覺任務和自然語言處理任務中將預訓練的模型作為新模型的起點是一種常用的方法,通常這些預訓練的模型在開發神經網絡的時候已經消耗了巨大的時間資源和計算資源,遷移學習可以將已習得的強大技能遷移
有監督學習、無監督學習、半監督學習
class tail detail 局部特征 連續 tails cannot 得到 ica 1.有監督學習:教計算機如何做事情。 對於機器學習來說,有監督學習就是訓練數據既有特征又有標簽,通過訓練,讓機器可以自己找到特征和標簽之間的聯系,在面對只有特征沒有標簽的數據時,
sklearn半監督學習
摘要:半監督學習很重要,為什麼呢?因為人工標註資料成本太高,現在大家參加比賽的資料都是標註好的了,那麼如果老闆給你一份沒有標註的資料,而且有幾百萬條,讓你做個分類什麼的,你怎麼辦?不可能等標註好資料再去訓練模型吧,所以你得會半監督學習演算法。 不過我在這裡先打擊大家一下,用sklearn的包做不
偽標籤:教你玩轉無標籤資料的半監督學習方法
對於每個機器學習專案而言,資料是基礎,是不可或缺的一部分。在本文中,作者將會展示一個名為偽標籤的簡單的半監督學習方法,它可以通過使用無標籤資料來提高機器學習模型的效能。 偽標籤 為了訓練機器學習模型,在監督學習中,資料必須是有標籤的。那這是否意味著無標籤的資料對於諸如分類和迴歸之類的監督任務
【IM】關於半監督學習的理解
基於流形假設的半監督學習:假定輸入概率密度p(x)和條件概率密度p(y|x)之間具有某種關聯,估計p(x)輔助對p(y|x)的估計以提升精度。流形假設,即輸入資料只出現在某個流形上,輸出則在該流形上平滑變化。 拉普拉斯正則化是把輸入資料在流形上進行函式平滑的半監督學習演算法,結合拉普拉斯矩陣(L
半監督學習演算法——標籤傳播演算法(LPA)與其擴充套件
標籤傳播演算法LPA與其擴充套件 1. 什麼是標籤傳播演算法? 標籤傳播演算法(Label Propagation Algorithm,LPA,2007)是基於圖的一種標籤演算法,也是社群發現(Community Detection)領域的一種經典方法。社群發現是為
PyTorch之遷移學習(Transfer Learning)
TRANSFER LEARNING TUTORIAL Finetuning the convnet: Instead of random initializaion, we initialize the network with a pretrained network, l
目標追蹤論文之狼吞虎嚥(5):基於張量的圖嵌入半監督學習及其在判別式目標追蹤的應用
一、摘要 作者將一個影象(image patch)看做是一個保留了原始影象結構的二階張量,然後設計了兩個圖來描繪目標和背景所在的張量樣本中固有的區域性幾何結構,從而構建一個判別式嵌入空間。圖嵌入可以在降低張量維度的同時保留著圖的結構。此外,作者提出了兩種思路(?)用來尋找原始張量樣
【GCN】圖卷積網路的半監督學習脈絡
1、入門: 知乎回答:從CNN到GCN的聯絡與區別——GCN從入門到精(fang)通(qi) 2、論文閱讀: 論文地址:SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 論文翻譯1:圖卷積神經網路的半監督