摘要：

        目標跟蹤具有挑戰性，因為隨著時間的推移，目標物件的外觀經常會發生劇烈的變化。近年來，自適應相關濾波器已成功地應用於目標跟蹤。然而，依賴於高自適應相關濾波器的跟蹤演算法容易因噪聲更新而漂移。此外，由於這些演算法不能保持對目標外觀的長期記憶，因此無法從攝像機檢視中的嚴重遮擋或目標消失所導致的跟蹤失敗中恢復。在本文中，我們提出學習多個具有長期和短期目標外觀記憶的自適應相關濾波器，以實現對目標的魯棒跟蹤。首先，我們學習了一個具有 aggressive 學習率的核化相關濾波器來精確定位目標。我們考慮到周圍環境的適當大小和特徵表示。其次，我們在以估計目標位置為中心的特徵金字塔上學習了一個相關濾波器，用於預測尺度變化。第三，我們學習了一個具有保守學習率的互補相關濾波器，以保持目標外觀的長期記憶。我們使用這個長期濾波器的輸出響應來確定是否發生跟蹤失敗。在跟蹤失敗的情況下，我們應用增量學習檢測器以滑動視窗的方式恢復目標位置。在大規模基準資料集上的大量實驗結果表明，該演算法在效率、準確性和魯棒性等方面都優於現有的方法。

簡介：

        目標跟蹤是計算機視覺中的基本問題之一，有著廣泛的應用，包括監視、人機互動和自動車輛導航[52，32，48]。給定第一幀中由包圍框指定的通用目標，目標跟蹤的目標是估計後續幀中未知的目標狀態，例如位置和尺度。儘管在過去的十年中取得了重大進展，但由於變形、突然運動、光照變化、嚴重遮擋和目標在攝像機視野中的消失等因素造成的外觀變化，目標跟蹤仍然具有挑戰性。為了應對這種隨時間變化的外觀變化，自適應相關濾波器被應用於目標跟蹤。然而，現有的跟蹤演算法依賴於這種高度自適應的模型並不能保持對目標外觀的長期記憶，因此在有噪聲更新的情況下很容易發生漂移。在本文中，我們提出了多個具有長期和短期記憶的自適應相關濾波器來進行魯棒目標跟蹤。

        相關濾波器近年來在目標跟蹤界[8，23，11，55，33，26，34，41，24，40，12，6]引起了廣泛的關注。我們將相關濾波器用於目標跟蹤的有效性歸因於以下三個重要特徵。首先，基於相關濾波的跟蹤演算法通過在傅立葉域上有效地計算空間相關性，可以獲得較高的跟蹤速度。使用核心技巧[24，13，33]進一步提高了跟蹤精度，而不顯著增加計算複雜度。其次，相關濾波器自然地考慮到周圍的視覺背景，並提供比僅基於目標物件的外觀模型[28，49]更多的鑑別資訊。例如，即使目標物件經歷了嚴重的遮擋，上下文線索仍然可以幫助推斷目標位置[55]。第三，學習相關濾波器等價於迴歸問題[24，23]，其中輸入影象塊的迴圈移位版本回歸到軟標籤，例如，由從零到1的窄頻寬的高斯函式生成。這不同於現有的跟蹤檢測方法[3，4，21]，在這種方法中，二進位制(硬閾值)樣本塊被密集地或隨機地畫在估計的目標位置周圍，以遞增地訓練鑑別分類器。因此，基於相關濾波的跟蹤器可以減少對高度空間相關樣本分配正負標籤的不可避免的模糊性。

      【圖片對比... 我們的跟蹤器學習具有短期儲存器的自適應相關濾波器，用於翻譯和縮放估計。與e TLD [28]跟蹤器相比，所提出的跟蹤演算法對第230幀的突然運動和顯著變形更加魯棒。我們的跟蹤器顯式地捕捉目標外觀的長期記憶。結果，我們的方法可以在386幀中持續阻塞之後恢復丟失的目標。其他現有技術相關跟蹤器（MUSTer [26], KCF [24], DSST [11] and STC [55]）無法處理此類跟蹤故障。】

        然而，現有的基於相關濾波器的跟蹤器[8，23，11，55，33]有一些侷限性。這些方法採用高學習率的移動平均方案來更新學習濾波器，以處理隨時間變化的外觀變化。由於這種高度自適應的更新方案只能保持對目標外觀的短期記憶，因此這些方法容易由於有噪聲的更新而漂移[42]，並且由於沒有維護目標外觀的長期記憶，因此無法從跟蹤失敗中恢復。圖1顯示了突出這些問題的示例。最先進的相關濾波器跟蹤器(KCF[24]、STC[55]和DSST[11])傾向於在350幀中因噪聲更新而漂移，而在長時間遮擋後的386幀中無法恢復。

        在本文中，我們通過戰略性地利用目標外觀的短期和長期記憶來解決[20，45]的穩定性-自適應困境。具體來說，我們開發了三種相關濾波器：(1)平移濾波器，(2)尺度濾波；(3)長期濾波.首先，我們學習了一個用於估計目標平移的相關濾波器。為了提高定位精度，在常用的定向梯度直方圖(HOG)的基礎上引入了局部灰度直方圖(HOI)作為補充特徵。結果表明，組合特徵增強了目標與周圍背景的分辨力。其次，通過將目標物件的特徵金字塔迴歸到一維尺度空間來估計尺度變化，從而學習了尺度相關濾波器。第三，我們學習並更新了一個使用自信跟蹤樣本補丁的長期過濾器。對於每一個跟蹤結果，我們使用長期濾波器計算可信度分數，以確定是否出現跟蹤失敗。當置信度低於某一閾值時，我們啟動一個線上訓練的檢測器來恢復目標物件。

         這項工作的主要貢獻是一個有效的方法，最好利用三種類型的相關濾波器的魯棒目標跟蹤。具體來說，我們做出以下三個貢獻：

        --我們證明，自適應相關濾波器在估計平移和尺度變化以及確定是否發生跟蹤失敗方面具有很好的能力。與我們在[41]中的工作相比，我們使用了一個不同的檢測模組，使用高效的被動攻擊方案進行增量更新。

        --我們系統地分析了不同特徵型別和周圍上下文區域的大小對設計有效相關濾波器的影響。我們還提供了深入的燒蝕研究，以探討設計選擇的貢獻。

        --我們詳細討論和比較了所提出的演算法和並行工作[26]。我們評估了所提出的演算法，並與最先進的跟蹤器在OTB 2013[50]和OTB 2015[51]資料集以及來自[54]的另外10個具有挑戰性的序列上進行了廣泛的比較。