Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification (多工網路中的完全自適應特徵共享及其在人屬性分類中的應用 )

原文連結：Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification

要解決的問題：通過適當地共享相關資訊來提高多項預測任務的泛化效能。 
創新點：作者提出了一種設計緊湊型多工深度學習架構的自動方法。開始採用一個薄的多層網路，並在訓練過程中以貪心的方式動態地擴充套件它。通過反覆執行，它建立了一個樹狀的深層架構，類似的任務駐留在相同的分支中，直到頂層。關於涉及面部和服裝屬性的人物屬性分類任務的評估表明，所提出的方法產生的模型是快速，緊湊的。 

論文從一個較瘦的網路開始，逐漸加粗。任務間進行選擇性共享，挖掘那些任務之間更相關。相似度小的任務分割的早，共享的特徵少。懲罰相同分支中不相似的任務。 
論文的目的應該是通過探索不同任務之間的相關性，來進行分支，也就是沒有相關性的任務進行多工訓練效果可能會變得不好

這是關於多工問題的討論；
多工問題中，不同任務共享特徵時，需要共享的特徵層可能不一樣，有些任務可以共享比較高層的特徵（即神經網路中比較靠全連線的層），而有些任務只能共享一些比較淺層的特徵；
自適應特徵共享，在初始化網路的時候，可以先初始化淺層的並且比較窄層厚的網路。初始化時，先初始化深顏色的寬度的網路（這樣可以節省很多能存空間）：

之後，演算法會自適應調整，加寬不同訓練任務的層的厚度，設定不同訓練任務共享的層數，如有些訓練任務要到很高層就分叉，有些訓練任務在低層就進行了分叉。不同訓練任務的層在自適應加厚的時候，也會受任務難易程度的影響。比如1000分類的任務理應比2分類的任務，層的厚度要厚。

下圖是針對於celebA的多工自適應特徵共享網路的結構（只留下了頂層的結構）：