論文筆記——Deep Layer Aggregation(DLA)
論文下載：
https://arxiv.org/pdf/1707.06484.pdf
論文程式碼：
https://github.com/ucbdrive/dla
論文摘要:
視覺識別需要豐富的表示,跨級別從低到高,範圍從小型到大型,解析度從細到粗。架構方面的工作在網路骨幹維度的方面上逐漸有突破，人們都傾向於設計更深或更廣的網路架構。但是作者認為如何在網路中最好地聚合層和塊值得進一步的探索。在這個思路上，作者提出深層聚合方案(Deep Layer Aggregation)，通過更深層次的聚合來增強標準架構，以便更好地跨層融合資訊。該深層聚合結構迭代和分層合併特徵層次，使網路具有更好的準確性和更少的引數。
DLA的簡單架構圖：
深層聚合統一了語義和空間融合，以更好地捕獲內容和位置。聚合架構包含和擴充套件了密集連線的網路，並使用分層和迭代跳過連線來特徵金字塔網路，這加深了表現並改進了解析度：
更多DLA方面的細節：
作者通過引用論文表明，更深層次提取的語義和全域性特徵更多，但這些跡象並不能證明最後一層是任何任務的最終表現，通俗點說，最後一層所表現的特徵圖不一定是由各個網路結構層特徵圖融合的結果，一些特徵有可能在一層接一層的提取中逐漸消失。並提到“聚集，就像深度和寬度一樣，是網路架構的一個關鍵維度”。
在深度聚合(DLA)中，作者又區分出兩種結構：迭代深度聚合(iterative deep aggregation:IDA)和分層深度聚合(hierarchical deep aggregation:HDA)
IDA主要關注解析度和尺度的特徵，HAD主要關鍵stage,block，channel之間的特徵。
IDA遵循基本層次結構逐級細化解析度和聚合規模。HDA將其自己的樹形連線層次結構(交叉和合並階段)組裝起來，以聚合不同級別的表示。
深層聚合是一個通用的體系結構家族，因為它與不同的主幹相容。該架構對塊和階段的內部結構沒有任何要求。
聚合的不同方法：
(a)純粹的block連線，類似VGG
(b)將網路的某些部分與跳躍連線結合起來，類似Unet
©迭代的進行特徵融合，IDA結構
(d)通過樹形結構，實現不同block，不同深度之間的特徵融合
(e)對(d)的改進，增加去往主幹分支的支路
(f)對(d)的改進，HDA結構
DLA網路結構：
迭代連線鄰近的block，逐步加深空間上的表現。層次連線與樹型結構交叉，更好地傳播特徵和梯度：
從淺到深融合，以形成一個逐步加深和更高解析度的解碼器(使用了兩次IDA:一次用於連線主幹網路中的各個階段，另一次用於恢復解析。)：
實驗結果：
用於分類的深層聚合網路。stage1和2表示通道數n，其他的stage表示d-n，其中d是聚集深度。標有“-C”的型號結構緊湊，只有1 ~ 100萬個引數:
DLA對ILSVRC的評估:
與最先進的細粒度(精細化分類)資料集方法的比較:
(左圖)城市景觀評價在驗證上的跨步比較和在測試上與現有方法的比較，(右圖)CamVid的評估：
