所謂AR（Augmented Reality，增強現實)廣義上來說就是在現實環境上疊加虛擬場景，區別於VR，理解真實環境是AR的基本點。基於平面圖的視覺跟蹤是AR的核心技術之一，據瞭解，儘管目前AR發展迅速，但是計算機視覺演算法在處理平面跟蹤時依然還有很多不足，在平面圖片傾斜、陰影、遮擋、運動狀態下，AR的識別跟蹤還不穩定。

國內AR公司亮風臺研發出基於圖的平面物體跟蹤演算法，該可在強幹擾的場景下實現快速且準確的平面跟蹤。其成果論文已被人工智慧領域國際頂級期刊《PAMI》（IEEE模式分析和機器智慧彙刊）錄用，即將於2018年正式刊出。

該論文主要實現了：

• 提出將圖模型和圖匹配機制運用於平面物體跟蹤。

• 設計了一種能預測物體姿態和關鍵點匹配的新策略，並把這種策略整合到最優解尋找的問題中。

• 設計了一個帶有標註的真實場景資料庫，這個資料庫可以用來評估快速移動下的視覺跟蹤。

作者介紹

凌海濱，亮風臺首席科學家，Temple大學終身教授，曾就職於微軟亞洲研究院、西門子美國研究院。在T-PAMI、IJCV、T-IP、CVPR、ICCV、ECCV、AAAI、MICCAI等AI相關領域國際權威雜誌和頂級會議上發表論文140餘篇，曾任權威會議Area Chair、IEEE PAMI 編委，也是美國NSF Career Award獲得者。

王濤，北京交通大學碩博，主持和參與包括國家自然科學基金專案在內的科研專案20餘項。以第一作者在AAAI、CVIU等國際學術會議和期刊發表論文10餘篇。目前主要研究方向為基於圖模型的影象語義理解和計算。

下文內容由亮風臺編譯自論文原文，雷鋒網經授權選編。

基於圖的跟蹤演算法：Gracker

基於圖的跟蹤演算法Gracker能夠充分利用物體的結構資訊來提高跟蹤效能。為了表示物體的結構，我們將平面物體建模為一個圖而不是簡單的關鍵點集合。如此，將跟蹤問題轉化為圖匹配問題，利用幾何圖匹配演算法建立關鍵點的對應關係。

Gracker演算法的框架

具體地說，我們用圖對平面物體建模，圖的頂點由可靠的自動選擇機制生成而不是傳統的基於HoG的檢測子。這種機制使得圖結構更加穩定，因此本方法對極端環境變數具有魯棒性，例如極端照度條件和運動模糊。

除此之外，我們把特徵對應和姿態估計整合在一個統一的幾何圖匹配框架中。幾何圖中的二元限制條件能夠對全域性幾何關係編碼，這樣Gracker演算法對各種幾何和光學變換更具有魯棒性和精確性。

如何構造圖

將目標表示為無向圖，而不是一堆區域性部件或者星形模型。給定目標圖GM和候選圖GC，我們的目標是找到他們之間的最優對應關係，然後根據對應結果決定最優的目標狀態。可以按如下方式構造目標物體的模型圖：

1. 生成頂點：我們提取每一幀的關鍵點來表示區域性部分，然後建模為圖的頂點。經典演算法是通過搜尋不同縮放尺寸的DoG影象的區域性最小/最大值來獲得關鍵點，比如SIFT。然而關鍵點的數量會隨著檢測子和幀背景的變化而變化。另外，SIFT容易受到不同環境變化影響，例如：照度變化和運動模糊，這不利於跟蹤精度。我們採用更魯棒的方法提取關鍵點：首先對每個畫素R計算SIFT響應，隨後我們將R等分為N個網格，從每個網格中取最大的SIFT響應作為這個網格的關鍵點，將所選取的關鍵點建模為圖的節點，然後計算它們的描述子作為這個節點的屬性。

2. 生成邊：現存幾種普遍的邊生存方法，比如鄰域圖，K最近鄰圖和全連通圖。全連通圖包含了大量的結構資訊，但是它佔用太多儲存空間和計算時間，因此並不適用於實時應用。鄰域圖依賴於引數的選取，而且受到物體縮放問題的影響。我們使用狄洛尼三角剖分構建圖的邊，因為它具有平移、縮放和旋轉不變性。

對每一個輸入幀，我們用同樣方式構造一個候選圖Gt，然後將匹配問題表達為圖匹配問題。

圖匹配

給定規模為N的模型圖和候選圖，匹配問題可以視為尋找GM和Gt頂點的對應關係。一般的圖匹配問題中，兩個頂點集間的變換通常不被考慮，因為缺乏先驗知識。而對於物體跟蹤，我們可以利用先前幀的變換資訊引導匹配。我們提出了一種幾何圖匹配（GGM）框架將變換線索融入圖匹配。傳統的基於匹配的跟蹤方法將特徵匹配和變換估計區分計算，GMM方法的不同在於將特徵匹配和變換估計結合成一個統一的框架。

Gracker演算法效果

為了系統地評估演算法，我們採用了兩個常用的基準資料庫，UCSB[1]和TMT[2],和一個我們收集的快速運動資料庫。下面我們比較了Gracker和其他三個基準演算法Struck[3], IC[4], ESM[5]在兩個基準資料庫和我們收集的資料庫上的結果。

縮放：下圖是弱紋理的落日圖片。可以看到IC和Struck演算法出現目標丟失情況，而ESM和Gracker演算法給出更精確的結果。

傾斜：下圖書本傾斜的例子揭示了IC，ESM和Gracker演算法對傾斜具有魯棒性，而當物體處於極端傾斜的情況下，Struck演算法未能捕捉到物件物體。

平移和旋轉：所有的演算法都能處理小角度旋轉，但是大角度情況下，只有ESM和Gracker比較魯棒。在360幀之後由於運動模糊，ESM演算法變得不精確，而Gracker演算法在所有幀中更穩定。

遮擋和光線：下圖給出了幾種演算法在正常和黑暗的光照條件下的部分遮擋的實驗結果。基於模板的演算法如IC和ESM受到部分遮擋的影響。相反，基於匹配的演算法Struck和Gracker對部分遮擋更魯棒。在黑暗光照條件下，Struck演算法精度相對較低，因為其使用的基於HoG的檢測子在黑暗光照條件下檢測到的關鍵點不可靠。而我們提出的Gracker演算法在光線變化的情況下更魯棒。

運動模糊：IC和Struck演算法對運動模糊很敏感，所以從很早開始直到視訊結束都丟失了目標。ESM演算法基本上在每一幀裡面都捕捉到了物件物體，但是捕捉到的位置並不準確。相反，我們提出的Gracker在所有的幀裡都給出了更加準確的結果。

複合運動變換：下圖顯示了集平移，旋轉，傾斜和輕微的非線性變換的複合變換。從比較中我們可以看到，我們的Gracker演算法給出了最好的跟蹤結果。

部分參考文獻：

[1] S. Gauglitz, T. Hollerer, and M. Turk. Evaluation of interest point detectors and feature descriptors for visual tracking. IJCV, 94(3):335– 360, 2011.

[2] A. Roy, X. Zhang, N. Wolleb, C. P. Quintero, and M. J¨agersand. Tracking benchmark and evaluation for manipulation tasks. In ICRA, pages 2448– 2453, 2015.

[3] S. Hare, A. Saffari, and P. H. S. Torr. Efficient online structured output learning for keypoing-based object tracking. In CVPR, pages 1894–1901, 2012.

[4] S. Baker and lain A. Matthews. Lucas-kanade 20 years on: A unifying framework. IJCV, 56(3):221–255, 2004.

[5] E. Malis. Improving vision-based control using efficient second-order minimization techniques. In ICRA, pages 1843–1848, 2004.