個人分類： 行人屬性

多工深度學習網路，一般是先設計網路有一些共享層，然後有多個分支學習不同的任務。論文從一個較瘦的網路開始，逐漸加粗。任務間進行選擇性共享，挖掘那些任務之間更相關。thin網路使用SOMP初始化。

task-specific子網路或分支：淺層特徵共享，深層特徵task-specific，類似屬性結構。計算量大，且受設計者主觀認識影響。

相關研究
多工學習：一些方法認識到哪些任務之間可以共享。HyperFace進行人臉檢測，landmark定位，姿態估計和性別識別等多工的學習。UberNet，MultiNet，Cross-ResNet。
模型壓縮和加速
行人屬性識別：監控場景提升行人再人證，電子商務提升衣物檢索，人臉屬性提升人臉檢測和矯正。state-of-the-art[5][24][44][49]。

方法描述
1. 瘦網路初始化及濾波器選擇
VGG-16的瘦身版，thin-w模型，w是瘦身因子，瘦身版的模型與原始VGG-16對比為：

瘦身版卷積層的引數W0,lW0,l 從原始預訓練的引數Wp,lWp,l 中選取，最小化目標函式：

使用貪心SOMP尋找近似解w∗(l)w∗(l) ，演算法描述為：

2. 逐層加寬
結合點：網路分割成兩個或多個子網路或分支，對於行人屬性，每個子網路的預測是sigmoid單元，生成歸一化的屬性置信度得分。
論文僅在結合點加寬網路，擴充套件後新增加的矩陣引數與擴充套件器引數矩陣大小相同，網路在擴充套件點有多個輸出：yl−1j=σl−1(P(Wl−1j)xl−1)forj∈[c]yjl−1=σl−1(P(Wjl−1)xl−1)forj∈[c]
擴充套件的示意圖為：

3. 任務聚合
相似度小的任務分割的早，共享的特徵少。對於某個任務分支來說容易識別的樣本，對另外一個任務來說可能是困難的樣本。task之間的密切關係為：

密切關係反應任務集合，兩個分支的密切關係為：

密切關係得分為Ab(k,l)=(Ab(k,l)+Ab(l,k))/2Ab(k,l)=(Ab(k,l)+Ab(l,k))/2 ，Ab(k,l)Ab(k,l) 通過觀察任務間最大距離衡量兩個分支間密切關係。
4. 寬度選擇
損失函式為：Ll(gd)=(d−1)L02pl+αLs(gd)Ll(gd)=(d−1)L02pl+αLs(gd) 。
其中(d−1)L02pl(d−1)L02pl 是新增分支的懲罰項，αLs(gd)αLs(gd) 是分割的懲罰項。αα 是分支因子，大的分支因子鼓勵分割。分割想是分支密切關係矩陣的函式，即：

上式定義了相同集合中任務間的最大距離，懲罰相同分支中不相似的任務。

實驗結果
CelebA人臉屬性分類和DeepFashion衣物屬性分類

Branch-32-2.0 模型的實際task歸類：