背景：

摘要：對於只有粗糙標籤的弱監督學習，可以通過反向傳播梯度的辦法，獲得深層神經網路的視覺解釋，如通過獲得注意力圖的方式。注意力圖可用作物件本地化和語義分割等任務的先驅。本文解決三個問題：首次使注意圖成為端到端訓練的一個明確且自然的組成部分；直接在這些注意圖上提供自我指導，通過探索網路本身的監督來改進它們；無縫地彌合使用弱監督和額外監督（如果有的話）之間的差距。語義分割任務的實驗證明了方法的有效性。另外，提出的框架不僅可以用於網路的視覺解釋，還可以給出反饋，直接指導特定任務。在溫和假設下，我們的方法也可以理解為現有弱監督學習者的外掛，以提高其泛化效能。

 

介紹：

弱監督學習近來備受關注，成為解決計算機視覺中“標記資料稀缺問題“的流行解決方案。例如，僅使用影象級別標籤，在卷積神經網路（CNN）上使用反向傳播的辦法，便可以獲得給定輸入的注意圖。這些注意圖能夠給出在不同模式和任務下，網路的響應機制。注意圖上每個畫素的值揭示了輸入影象上相同畫素對網路最終輸出的貢獻程度。已經表明，可以從這些注意圖中提取本地化和分割資訊，而無需額外的標記工作。

現有獲得注意力圖的辦法有缺陷：僅受分類損失的監督，關注地圖通常只覆蓋感興趣物件的小型和最具區分性的區域。雖然這些注意圖仍然可以作為分割等任務的可靠先驗，但是獲得”儘可能完整地包含覆蓋目標前景物件“的注意圖，可以進一步提升效能(本文的目標)。為此，最近的一些作品要麼依靠通過迭代擦除步驟[31]或者從多個網絡合並注意力圖來合併來自網路的多個注意圖[11]。 我們設想了一種端到端的框架，可以在訓練階段直接將任務特定的監督應用於注意力圖上，而不是被動地利用受過訓練的網路注意力。如下圖：

作為解釋網路決策的有效方式，注意圖可以幫助找到訓練網路的限制。例如，（要識別船，但網路的注意力在水上而不是船本身）

在僅具有影象級物件類標籤的物件分類任務中，當前景物件偶然與相同背景物件相關時，我們可能在訓練資料中遇到病態偏差。 圖1顯示了示例類“船”，其中可能存在偏向於作為具有高度相關性的”水“。在這種情況下，訓練沒有動機將注意力集中在前景上，當測試資料沒有相同的相關性時（“水上游艇”），泛化效能可能會受到影響。雖然有人試圖通過重新平衡訓練資料來消除這種誤差，但我們建議將注意圖明確地建模為訓練的一部分。作為其中一個好處，我們能夠明確地控制網路的注意力，並且可以採取人工努力對關注點進行最小限度的監督，而不是重新平衡資料集。雖然可能並不總是清楚如何手動平衡資料集以避免偏差，但引導對感興趣區域的關注通常很簡單。我們還觀察到，即使沒有額外的監督，我們的顯式自引導注意模型已經提高了泛化效能。