簡介

現存的很多遷移學習演算法都是一種離線學習(Offline learning)演算法，即源域資料和目標域資料都是已經存在固定了的，然而在現實當中，經常會遇到線上資料的情況，即資料並不是固定存在的，而是一個或多個產生“流進”目標域中，比如工業上數控機床產生的資料是根據時間一條一條產生的，那麼在這種情況下很大程度上要求線上學習，這樣才能夠提供更好的實時性效果。

Online Transfer Learning（OTL）的應用場景：源域是已存在的現有帶標籤資料集，目標域則是一個樣本序列，分類器首先收的是目標域資料$x_2t$，然後可以得到該資料的標籤$y_2t$。線上學習的目標則是尋找一個表現好的預測函式，使得類別預測$s$

ign(ft(x2t))sign(f_t(x_2t))與真實標籤$y_2t$儘可能的匹配。而線上遷移學習的挑戰則是如何有效地從源域中遷移知識到目標域中以提高線上學習能力，並且如何在同構（特徵空間相同）和異構（特徵空間不同）的情況下仍然表現好。Online Transfer Learning（OTL）也將從同構的情景和異構的情景分別分析。

同構域下的OTL

在同構的情景下，假設源域和目標域的特徵空間相同($\mathcal{X}_1=\mathcal{X}_2$)，並且標籤空間也相同($\mathcal{Y}_1=\mathcal{Y}_2$

)，這也是大部分遷移學習的應用場景，而在這樣的條件下最大的問題就是解決“概念漂移”問題。那麼如何得到線上學習的類別預測$sign(f_t(x))$呢？

與很多現有的遷移學習方法不同，在OTL中，作者分別構造了兩個預測函式$h$和$f$，其分別只在源域和目標域上進行，其中在源域上的h分類器為:

$h(x)=\sum_{s=1}^S \alpha_Sy_{1_S}\mathcal{K}_1(x_{1_s},x)$

其中$\alpha_S$

為支援向量係數,($x_{1_s},y_{1_s}$)為源域訓練資料集中的一組支援向量。$\mathcal{K}_1(\centerdot,\centerdot)$為核函式。h(x)可以通過SVM獲得。

另外，$f(x)$則是則在目標域上通過線上方式進行的預測函式。$f_t(x)$表示為第t次線上學習函式。通過結合兩個預測函式$h(x)$和$f_t(x)$對目標資料的預測，以得出$sign(f_t(x_2t))$：

$y'=sign(w_{1,t}\Pi(h(x_t))+w_{2,t}\Pi(f_t(x_t))-\frac{1}{2})$

其中$w_{1,t}、w{2,t}$為兩個權重引數，這個式子的思想就是通過權重引數來衡量兩個預測函式的預測可行度，而優化也主要是優化這兩個權重引數，儘可能讓兩個預測函式結果的結合與真實標籤相匹配。而$\Pi(x)$則是一個標準化函式，比如$\Pi(x)=max(0,min(1,\frac{x+1}{2}))$。在OTL中，一般都將$w_{1,t}、w{2,t}$初始化為1/2。那如何優化權重引數呢？如下：

其中$s_t(g)=exp(-\eta \mathcal{l}^{*} (\Pi(g(x_t)), \Pi{y_t}))$，g(x)為函式表示，用於表示h(x)或者f(x)，$\mathcal{l}^*(z,y)$為損失函式設定為$\mathcal{l}^*(z,y)=(z-y)^2$。該優化公式可以大概理解為t+1時刻的權重由上一時刻的預測函式損失值佔全部損失值的比重來決定。

那麼同構域下的OTL演算法流程如下：

剛開始初始化權重為1/2，且目標域上的預測函式為0。分類器先收到目標域上的輸入資料為一個$x_{2t}$，接下來通過上面的y’可以得出預測標籤，然後收到資料的真實標籤，接著更新權值引數，然後根據真實標籤和f的預測標籤計算f的損失值，接著根據損失值更新f，當損失值<=0的時候，則演算法結束，還是很好理解的。

異構域下的OTL

異構域下的OTL和同構域下的OTL類似，因為條件變了，所以在上面方法的基礎上做了一些調整。異構和同構的不同之處在於，同構中源域和目標域的特徵空間（即資料的維度）是相同的，而在異構中，源域和目標域的特徵空間不同，這就給遷移學習增加了難度。在文中的異構場景中，作者假設源域的特徵空間為目標域特徵空間的一個子集，即$\mathcal{X}_s \subset \mathcal{X}_t$，因此，可以將目標域資料分為兩部分$x_t^1$和$x_t^2$，其中$x_t^1$的維度與源域對齊，而剩餘的那部分維度則是$x_t^2$，即$x_t^1 \in \mathcal{X}_s、x_t^2 \in \mathcal{X}_s / \mathcal{X}_t$。然後上面同構中的預測函式y’變為了:

$y&#x27; = sign(\frac{1}{2}f_t^{(1)}(x_t^1)+f_t^{(2)}(x_t^2))$

其中$f_t^{(1)}$的初始化為h，$f_t^{(2)}$的初始化為0，這和上面同構是不是很像了，只不過這裡沒有用權重引數來衡量兩個分類器的權重了，因為$f_t^{(1)}$和$f_t^{(2)}$本身都是基於目標域資料進行訓練的，然後把同構中y’的h函式改為了$f_t^{(1)}$，而$f_t^{(1)}$的初始化本身又是h，另外上面同構中只要優化f，而這裡除了優化$f_t^{(2)}$外。還有優化$f_t^{(1)}$，最大的區別就是這啦。

我們來看一看演算法流程：

是不是和同構的演算法流程很類似？只不過上面同構只優化了

相關推薦