多目標跟蹤的任務是恢復視訊序列中多個目標的時空軌跡。MOT問題的解決共分為兩步，第一步是物體檢測，第二步是資料關聯。在tracking-by-detection的方法中，檢測是提前在每幀中單獨提取的，然後物體軌跡是通過最大化專門設計的相關函式來建立的。在多目標跟蹤中，最為核心的部分是為資料關聯學習一個相似性函式（a similarity function），在學習的時候，應當清楚的是資料關聯是如何做的，相似性是如何構造的，cost function是如何優化的。

MOT可以轉化成為多種問題來解決。MHT、JPDA、integer linear program、network flow problem

不同方法的區別和聯絡：

一般資料關聯有兩類方法，一類是區域性關聯，該方法在時間上是區域性的，偶匹配及其擴充套件是其典型代表。一類是全域性關聯，該方法中幀的數量較大。近來許多基於全域性關聯的方法將資料關聯看作是網路流問題。

做資料關聯時有多種方法來實現把觀測假設連線起來。如：

MOT 分為離線和線上方法。二分圖匹配（bipartite graph matching）通常被用於線上方法中，目的是把當前幀的邊界框分配給已存在的軌跡。離線方法通常是在網路流框架中解決資料關聯的問題，決定軌跡的初始和終結。在離線方法中，所有的關聯問題可以在一個線性規劃（LP）框架中得以解決，設計好的cost function非常重要。Cost function可以手工設計，也可以從資料中學習得到。線上方法也可以叫filtering-based approaches。離線方法可以叫batch methods

在離線方法中，要使用整幀所有的檢測結果。在優化演算法的幫助下，該方法可以比傳統的線上跟蹤框架表現出更準確的資料關聯。離線關鍵看優化演算法。而線上關鍵看affinity measures。對於線上跟蹤，關鍵是要建立strong affinity measures to compare two detections across time, such as spatial affinity(eg.BBOX overlap or euclidean distance) or simple appearance similarity。

為解決關聯歧義、克服檢測失敗，用到了batch mode，但是卻無法滿足實時跟蹤的要求。線上跟蹤應用更為廣泛，但是要保證雖然資料很少，但是work的時候要保證accurate和fast。

在線上方法中，挑戰在於如何把當前幀的帶噪聲的檢測與之前跟蹤到的物體進行關聯。為控制關聯的歧義性，在計算similarity時，把多條線索聯合起來是非常有必要的，比如appearance、motion、location。而多條線索的引數最好可以學習得到。

進行多幀的資料關聯問題可以看成是網路流的問題，the optimal solution can be found by a min-cost flow algorithm。在解決資料關聯問題時，可以使用的技術有馬爾科夫和蒙特卡洛。

資料關聯有兩種主要型別，local and global。對於local，雖然這種方法計算量不大，但是易於ID_switch，在跟蹤中易遭遇一些一下difficulties（當long/short term occlusions、pose changes and camera motion）。對於global，考慮的幀比較多，formulated the data association as a network flow problem where a set of tracks are found efficiently by solving min-cost flow。而最小化cost-flow又有一系列方法，如push-relabel algorithm等。

為了增加外觀模型和運動模型的判別能力，線上學習的方式被提出來了。無論是batch methods還是online method，其目標都是learn a similarity function for data association from training data。需要注意的是，在超級擁擠的情況下，目標的外觀就顯得沒有那麼重要了，所以，為了保證跟蹤的魯棒性，往往要focus on spatial features。

在擁擠環境中，遮擋、噪聲檢測（false alarms，missing detections，non-accurate bounding）和外觀相似都是問題，無論是線上方法還是離線方法，也無論是哪一種資料關聯的方法，都是圍繞著從這幾個方面著手改進。

關於MOT的文獻是巨大的，但有幾個關鍵的屬性會在這些成功的方法中出現。

①使用長距離的關聯to prevent ID switches and recover missing detections caused by long-term occlusion。

②聯合推理軌跡的數量並且解決資料關聯的問題

③使用外觀資訊and combine it with long-range associations.

④在跟蹤中整合NMS

當然，以上屬性可以被更好的取代。

在應對遮擋方面，可以使用by using context from outside the object region or by building strong statistical motion models。

關於Multi-Frame Data Association與two-frame data association。

不得不說，在多目標跟蹤中存在這樣一種資料關聯，即two-frame data association in an online fashion and thus cannot reconsider wrong associations when further information comes and contradicts（矛盾） them。

Multi-Frame Data Association

離線MOT方法考慮資料關聯時，either globally over the whole sequence or over a sliding window dealing with a few frames.==>multi-frame data association。