擬解決問題

解決視訊處理中時空域的長距離依賴打開了新的方向，文章採用影象去噪中常用的**非區域性平均**的思想處理區域性特徵與**全圖特徵點**的關係。這種非區域性操作可以很方便的嵌入已有模型，在視訊分類任務中取得的很好的結果，並在在靜態影象識別的任務中超過了何愷明本人ICCV最佳論文的Mask R-CNN。***並且超越CNN***，克服CNN網路過於關注區域性特徵的缺點。
文章主要受到NL-Means在影象去噪應用中的啟發，在處理序列化的任務是考慮所有的特徵點來進行加權計算，克服了CNN網路過於關注區域性特徵的缺點。
影象去噪是非常基礎也是非常必要的研究，去噪常常在更高階的影象處理之前進行，是影象處理的基礎。影象中的噪聲常常用高斯噪聲N(μ,σ^2)來近似表示。 一個有效的去除高斯噪聲的方式是影象求平均，對N幅相同的影象求平均的結果將使得高斯噪聲的方差降低到原來的N分之一，現在效果比較好的去噪演算法都是基於這一思想來進行演算法設計。
 

摘要

卷積和迴圈網路操作都是常用的處理區域性領域的基礎模組。在本文中，我們提出將非區域性操作（non-local operations）作為捕獲長距離依賴的通用模組。受計算機視覺中的經典非區域性均值方法的啟發，我們的非區域性運算將位置處的響應計算為所有位置處的特徵的加權和。這個構建模組可以應用到許多計算機視覺體系結構中。
在視訊分類的任務上，即使沒有用任何花裡胡哨的技巧，我們的非區域性模型也可以在Kinetics和Charades資料集上超過對手的效果。在靜態影象識別中，我們的非區域性模型在COCO比賽中的三個任務，物件檢測/分割和姿態估計中都效果都有提升。程式碼將隨後提供。

引言

在深層神經網路中，捕獲長期依賴關係是至關重要的。對於連續的資料（例如演講中語言），迴圈操作是時間域上長期依賴問題的主要解決方案。對於影象資料，長距離依賴關係是對大量的卷積操作形成的大的感受野進行建模的。
卷積操作或迴圈操作都是處理空間或者時間上的區域性鄰域的。這樣，只有當這些操作被反覆應用的時候，長距離依賴關係才能被捕獲，訊號才能通過資料不斷地傳播。重複的區域性操作有一些限制：首先，計算效率很低；其次，增加優化難度；最後，這些挑戰導致多跳依賴建模，例如，當訊息需要在遠距離之間來回傳遞時，是非常困難的。
本文中，我們提出將非區域性操作作為一個高效的、簡單的、通用的元件，並用深度神經網路捕捉長距離依賴關係。我們提出的非區域性操作受啟發於計算機視覺中經典非區域性操作的一般含義。直觀地說，非區域性操作在一個位置的計算響應是輸入特性圖中所有位置的特徵的加權總和（如圖1）。一組位置可以在空間、時間或時空上，暗示我們的操作可以適用於影象、序列和視訊問題。
 

非區域性網路優勢

在深層神經網路中，捕獲長期依賴關係是至關重要的。對於連續的資料（例如演講中語言），迴圈操作是時間域上長期依賴問題的主要解決方案。對於影象資料，長距離依賴關係是對大量的卷積操作形成的大的感受野進行建模的。

卷積操作或迴圈操作都是處理空間或者時間上的區域性鄰域的。這樣，只有當這些操作被反覆應用的時候，長距離依賴關係才能被捕獲，訊號才能通過資料不斷地傳播。重複的區域性操作有一些限制：首先，計算效率很低；其次，增加優化難度；最後，這些挑戰導致多跳依賴建模，例如，當訊息需要在遠距離之間來回傳遞時，是非常困難的。

本文中，我們提出將非區域性操作作為一個高效的、簡單的、通用的元件，並用深度神經網路捕捉長距離依賴關係。我們提出的非區域性操作受啟發於計算機視覺中經典非區域性操作的一般含義。直觀地說，非區域性操作在一個位置的計算響應是輸入特性圖中所有位置的特徵的加權總和（如圖1）。一組位置可以在空間、時間或時空上，暗示我們的操作可以適用於影象、序列和視訊問題。

總結

我們將展示非區域性操作在視訊分類應用中的有效性。在視訊中，遠距離的相互作用發生在空間或時間中的長距離畫素之間。一個非區域性塊是我們的基本單位，可以直接通過前饋方式捕捉這種時空依賴關係。在一些非區域性塊中，我們的網路結構被稱為非區域性神經網路，比2D或3D卷積網路（包括其變體）有更準確的視訊分類效果。另外，非區域性神經網路有比3D卷積網路有更低的計算開銷。我們在Kinetics和Charades資料集上進行了詳細的研究（分別進行了光流、多尺度測試）。我們的方法在所有資料集上都能獲得比最新方法更好的結果。

為了證明非區域性操作的通用性，我們進一步在COCO資料集上進行了目標檢測/分割和姿勢估計的實驗。在MaskR-CNNbaseline的基礎之上，我們的非區域性塊僅需要很小的額外計算開銷，就可以提升在三個任務中的準確度。在視訊和影象中的實驗證明，非區域性操作可以作為設計深度神經網路的一個通用的部件。