目標跟蹤演算法小結(三)
相關濾波演算法
DSST
DSST提出了基於3維尺度空間相關濾波器translation-scale的聯合跟蹤方式,利用兩個濾波器位置濾波器(translation filter)和尺度濾波器(scale filter)依次進行目標定位和尺度評估,兩個濾波器相互獨立可以利用不同的特徵種類和特徵計算方式進行訓練和測試,而利用尺度濾波器進行尺度估計的方法可以移植到其他演算法中。fDSST對DSST進行加速,分別對位置濾波器和尺度濾波器進行PCA降維和QR分解來降低計算量提高計算速度。
Danelljan M, Häger G, Khan F, et al. Accurate scale estimation for robust visual tracking_BMVC2014SAMF
基於KCF,特徵是HOG和CN,能夠實現多尺度檢測,位置濾波器在多尺度縮放的影象塊上面進行目標檢測,響應最大的認為是目標所在位置和目標尺度大小。
SAMF與DSST都可以對進行目標尺度濾波,但是在方法上有所不同:1,SAMF在尺度變化上只有7個尺度,而DSST有33種尺度變化;2,DSST先進行位置濾波再進行尺度濾波,而SAMF是位置濾波與尺度濾波一起進行;3,DSST兩步需要不同的濾波器,而SAMF只需要一個濾波器,不需要額外訓練和儲存。
Li Y, Zhu J. A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration_ECCV2014LCT
LCT在DSST一個位置濾波器和一個尺度相關濾波器的基礎上,又加入第三個負責檢測目標置信度的相關濾波,檢測模組是TLD中所用的隨機簇分類器(random fern)。第三個相關濾波類似MOSSE不加padding,而且特徵也不加cosine窗,放在平移檢測之後。LCT加入檢測機制對遮擋和移出視野等情況處理較好。
Ma C, Yang X, Zhang C, et al. Long-term Correlation Tracking_CVPR2015Staple
Staple是模版類特徵方法(DSST)和統計類特徵方法(DAT)的結合。模版類特徵如HOG等,對快速運動和形變等情況下跟蹤效果不理想,但對運動模糊情形跟蹤效果較好;而顏色統計類特徵DAT對形變不敏感,將兩種方法結合,在位置濾波(translation filter)過程中加入顏色統計特徵可以更準確定位目標。
Bertinetto L, Valmadre J, Golodetz S, et al. Staple: Complementary Learners for Real-Time Tracking_CVPR_2016SRDCF
SRDCF基於DCF,類SAMF多尺度,採用更大的檢測區域(padding = 4),加入空域正則化,懲罰邊界區域的濾波器係數來減輕邊界效應。在檢測時選擇一定的候選框進行尺度匹配,找到最合適的尺度大小。
Danelljan M, Häger G, Khan F S, et al. Learning Spatially Regularized Correlation Filters for Visual Tracking_ICCV2015DeepSRDCF
把SRDCF中HOG特徵替換為CNN中單層卷積的深度特徵(卷積網路中的啟用值),深度特徵來自在ImageNet資料集上訓練的imagenet-vgg-2048網路,第一層的啟用值特徵做為跟蹤特徵與其他四層的特徵相比跟蹤效果最好。
Danelljan M, Hager G, Khan F S, et al. Convolutional Features for Correlation Filter Based Visual Tracking_ICCV2015HCF
類似DeepSRDCF,用多層卷積特徵代替HOG和CN特徵。VGG19中Conv3-4,Conv4-4,Conv5-4三層的啟用值做為特徵;前面的卷積層保留了跟好的空間細節,可以精確地進行目標定位;後面的卷積層保留了更多的目標語義,對於外觀變化具有魯棒性,能夠更好地區別目標與背景;每一層訓練對應的濾波器,利用線性內插法上取樣將不同層的影象片大小對齊,構建從粗到細的目標搜尋方法,能夠更準確判斷目標位置。
Ma C, Huang J B, Yang X, et al. Hierarchical Convolutional Features for Visual Tracking_ICCV_2015CSR_DCF
基於DCF相關濾波與顏色概率相結合,提出了空域可靠性和通道可靠性。空域可靠性通過前景顏色直方圖概率和中心先驗概率計算二值約束掩膜,讓濾波器自適應學習和跟蹤顏色目標比較顯著的部分,依此來緩解邊界效應。通道可靠性用於區分檢測時每個通道的權重,由訓練通道可靠性和檢測通道可靠性兩個指標決定,訓練通道檢測性指標表示響應峰值越大的通道可靠性越高,檢測可靠性指標響應表示響應圖中第二主模和第一主模之間的比值。
Lukežič A, Vojíř T, Čehovin, Luka, et al. Discriminative Correlation Filter with Channel and Spatial Reliability_CVPR2017C-COT
論文提出一種連續卷積濾波器(continuous convolution filters)方法,並且通過內插法將學習問題對映到連續的空間域中來解決。演算法綜合了SRDCF的空間域正則化和SRDCFdecon的自適應樣本權重,將DeepSRDCF的單層網路卷積特徵擴充套件為多層卷積特徵。為了解決不同卷積層分別率不同的問題,在訓練之前通過頻域隱式插值將特徵圖插值到連續的空間域中,這樣方便整合多解析度的特徵圖。不同層訓練得到的濾波器會得到不同置信圖,對不同層的置信圖加權求和得到最大的置信值就是目標對應位置。
Danelljan M, Robinson A, Khan F S, et al. Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking _ECCV_2016ECO
ECO是C-COT的改進版,從模型大小,樣本集大小和跟新策略三個方面對C-COT進行改進。簡化特徵提取,C-COT中每個緯度對應一個濾波器而其中存在很多貢獻較小的濾波器,因此可以在第一幀中從選取貢獻較大的濾波器進行學習,篩選出的濾波器特徵更明顯防止過擬合;利用高斯混合模型(GMM)合併相似樣本,產生多樣性樣本集,減少樣本集冗餘;每個Ns幀跟新一次模型,並非每幀都對模型進行更新,防止模型漂移。SRDCF,DeepSRDCF,C-COT不能達到實時,ECO利用HOG和CN特徵能夠實現實時。
Danelljan M, Bhat G, Khan F S, et al. ECO: Efficient Convolution Operators for Tracking_CVPR2017BACF
樣本集的數量和質量對分類器的訓練過程中有著重要作用,它們直接決定著分類器效果的好壞。相關濾波取樣迴圈矩陣的方法來增加樣本數量,本文通過擴大迴圈矩陣取樣區域的方法,這樣可以獲得更多的樣本,而且對包含目標的正樣本進行裁剪從而獲得高質量的正樣本,負樣本包含了正負影象的背景資訊,提高了濾波器的分辨效能。
Galoogahi H K, Fagg A, Lucey S. Learning Background-Aware Correlation Filters for Visual Tracking_CVPR2017CA-CF
基於傳統的相關濾波框架的改進,在對濾波器進行訓練時在目標位置上下左右四個位置進行取樣文字資訊進行訓練,增加了背景資訊,對目標選擇變化有較強的適應能力。
Mueller M, Smith N, Ghanem B. Context-Aware Correlation Filter Tracking_CVPR2017特徵才是最重要的!作者將跟蹤框架劃分為五個部分,motion model,feature extractor,observation model,model updater,ensemble post-processor 分別對這五個模組進行實驗,最後證明特徵對跟蹤效果影響最大,當特徵足夠好的時候observation model影響不是特別大,model updater對跟蹤效果有相當的影響但是容易被忽略,使用ensemble post-processor對結果產生積極影響。
Wang N, Shi J, Yeung D Y, et al. Understanding and Diagnosing Visual Tracking Systems_ICCV_2015LMCF
利用結構化的SVM作為分類器,引入相關濾波,通過迴圈取樣增加訓練樣本數量,同時利用多峰值檢測來避免相似物體和背景干擾,提出新的更新策略,利用APCE的值作為根據來判斷是否進行更新,以此減少模型更新次數,減弱模型漂移。
Wang M, Liu Y, Huang Z. Large Margin Object Tracking with Circulant Feature Maps_CVPR2017