【轉載】視訊跟蹤的研究
阿新 • • 發佈：2019-02-20
3.視訊跟蹤的國內外研究現狀
國外對於視訊跟蹤理論研究起步較早。 美國自然科學基金委員會及美國軍方對複雜環境下多目標的動態檢測、識別及跟蹤的演算法的研究及其應用非常重視。美國自然科學基金多次資助有關公司進行相關演算法研究。早在20 世紀 50 年代初期，GAC 公司就為美國海軍研製開發了自動地形識別跟蹤系統。近幾年，自適應跟蹤和智慧跟蹤的思想被相繼提出。
隨著影象處理和分析技術、計算機技術和各種影象感測器技術的飛速發展，國內一些高校和科研院所已經逐漸開展這方面的研究，並且已經取得了喜人的成績。
4.視訊跟蹤演算法分類：確定性方法和隨機方法兩大類。
典型的確定性跟蹤方法在對感興趣目標進行跟蹤時， 根據事先設定的相似性度量
隨機跟蹤方法利用狀態空間對當前跟蹤系統的運動進行模型化。隨機跟蹤方法引入了概率統計的思想，將不確定性觀察（如概率密度函式）與不同的狀態相聯絡，從而不再假設運動系統輸入與輸出的完全確定性。對於運動系統而言，由於目標自身及相互之間存在遮擋、高速運動等不確定性因素，因此，隨機跟蹤方法更適用於大多數基於視覺特徵的目標跟蹤。
確定性的跟蹤方法是基於假設觀察模型可以很方便地建立且具有較好的精度來實現的，因此，這種方法經常是運用簡單的規則或推理來得到目標的當前狀態。但這種方法卻忽略了最終得到的假設或狀態存在不確定因素的事實。而基於隨機的方法引入了概率統計的思想，將不確定性觀察（如概率密度函式）與不同的狀態相聯絡，從而不再假設運動系統輸入與輸出的完全確定性。對於運動系統而言，由於目標自身及相互之間的遮擋、高速運動等不確定性因素的存在，因此隨機跟蹤方法更適用於大多數的基於視覺特徵的目標跟蹤。目前，基於粒子濾波的目標隨機跟蹤方法已被大量使用，所採用的模型有輪廓模型、顏色模型和表面模型等。
根據運動目標和背景的相對運動關係不同，視訊跟蹤演算法可以分為：動態背景的運動目標跟蹤演算法、動態背景的靜止目標跟蹤演算法、靜止背景的運動目標跟蹤演算法、靜止背景的靜止目標跟蹤演算法（主要研究的還是前三種）
5.視訊跟蹤中需要重點解決的難題：
就目前來說，一般意義上的視訊跟蹤技術還遠未成熟，要開發出真正可靠、實用的視覺跟蹤應用系統還需要開發更為魯棒的核心演算法。現有的目標跟蹤演算法雖然能夠在一定程度上完成對運動目標的跟蹤， 但這些演算法大多是基於目標某一種特徵集合的跟蹤，其主要缺陷是對目標特徵描述不完備，並且無法自動適應目標和環境的變化，因此當背景發生較大變化時，往往會失效。以下是需要解決的問題：
1). 運動目標影象的三維重建。三維空間的運動目標變換為二維影象，在這個過程中會丟失重要的深度資訊；
2). 影象的外界影響。現實中影象成像模型受到目標自身的材質、外界光源、攝像機的視角和距離、透明度和遮擋等諸多因素的影響，但影象畫素值與這些因素之間的依賴關係往往是非線性的；
3). 運動目標的部分或完全遮擋。背景對目標的遮擋以及目標之間的相互遮擋是視訊跟蹤系統中的又一個難題，遮擋是造成目標的影象表達突然變化的重要原因之一，而且這種變化具有突然性和不連續性，從而很容易引起跟蹤演算法的失效；
4). 運動目標的尺度伸縮變化和形變。在跟蹤的過程中，目標的運動會引起與攝像機的距離和視角變化，造成攝像機所捕捉到的目標影象的尺度伸縮以及目標影象表達等產生非線性的變化，從而導致跟蹤的失效；
5). 場景光線亮度變化。同一目標在不同的光線亮度條件下會產生有明顯差異的目標影象，該影響是很多室外實際應用系統中阻礙效能提升的瓶頸；
6). 目標複雜的運動模式。跟蹤演算法主要採用濾波預測演算法，在運動目標可能出現的區域內進行全域性或者區域性搜尋，但當目標具有複雜的運動模式時，如目標的運動速度或者方向發生突然改變，使得運動目標不在預測的搜尋區域內，這樣簡單濾波預測演算法就會失效，進而造成跟蹤目標丟失。
視訊跟蹤的演算法思想通常有兩種： 通過識別目標來進行跟蹤和通過運動目標檢測來進行跟蹤。前一種演算法思想通過識別每一幀的影象中跟蹤目標，來確定該運動目標的位置和實現跟蹤，該演算法思想包含了目標識別和目標匹配兩部分；而後一種跟蹤演算法思想通過檢測和發現運動目標並確定運動目標的位置進行跟蹤，該方法不需要考慮目標的形狀、尺度，可以檢測任何目標。
國外對於視訊跟蹤理論研究起步較早。 美國自然科學基金委員會及美國軍方對複雜環境下多目標的動態檢測、識別及跟蹤的演算法的研究及其應用非常重視。美國自然科學基金多次資助有關公司進行相關演算法研究。早在20 世紀 50 年代初期，GAC 公司就為美國海軍研製開發了自動地形識別跟蹤系統。近幾年，自適應跟蹤和智慧跟蹤的思想被相繼提出。
隨著影象處理和分析技術、計算機技術和各種影象感測器技術的飛速發展，國內一些高校和科研院所已經逐漸開展這方面的研究，並且已經取得了喜人的成績。
4.視訊跟蹤演算法分類：確定性方法和隨機方法兩大類。
典型的確定性跟蹤方法在對感興趣目標進行跟蹤時， 根據事先設定的相似性度量
隨機跟蹤方法利用狀態空間對當前跟蹤系統的運動進行模型化。隨機跟蹤方法引入了概率統計的思想，將不確定性觀察（如概率密度函式）與不同的狀態相聯絡，從而不再假設運動系統輸入與輸出的完全確定性。對於運動系統而言，由於目標自身及相互之間存在遮擋、高速運動等不確定性因素，因此，隨機跟蹤方法更適用於大多數基於視覺特徵的目標跟蹤。
確定性的跟蹤方法是基於假設觀察模型可以很方便地建立且具有較好的精度來實現的，因此，這種方法經常是運用簡單的規則或推理來得到目標的當前狀態。但這種方法卻忽略了最終得到的假設或狀態存在不確定因素的事實。而基於隨機的方法引入了概率統計的思想，將不確定性觀察（如概率密度函式）與不同的狀態相聯絡，從而不再假設運動系統輸入與輸出的完全確定性。對於運動系統而言，由於目標自身及相互之間的遮擋、高速運動等不確定性因素的存在，因此隨機跟蹤方法更適用於大多數的基於視覺特徵的目標跟蹤。目前，基於粒子濾波的目標隨機跟蹤方法已被大量使用，所採用的模型有輪廓模型、顏色模型和表面模型等。
根據運動目標和背景的相對運動關係不同，視訊跟蹤演算法可以分為：動態背景的運動目標跟蹤演算法、動態背景的靜止目標跟蹤演算法、靜止背景的運動目標跟蹤演算法、靜止背景的靜止目標跟蹤演算法（主要研究的還是前三種）
5.視訊跟蹤中需要重點解決的難題：
就目前來說，一般意義上的視訊跟蹤技術還遠未成熟，要開發出真正可靠、實用的視覺跟蹤應用系統還需要開發更為魯棒的核心演算法。現有的目標跟蹤演算法雖然能夠在一定程度上完成對運動目標的跟蹤， 但這些演算法大多是基於目標某一種特徵集合的跟蹤，其主要缺陷是對目標特徵描述不完備，並且無法自動適應目標和環境的變化，因此當背景發生較大變化時，往往會失效。以下是需要解決的問題：
1). 運動目標影象的三維重建。三維空間的運動目標變換為二維影象，在這個過程中會丟失重要的深度資訊；
2). 影象的外界影響。現實中影象成像模型受到目標自身的材質、外界光源、攝像機的視角和距離、透明度和遮擋等諸多因素的影響，但影象畫素值與這些因素之間的依賴關係往往是非線性的；
3). 運動目標的部分或完全遮擋。背景對目標的遮擋以及目標之間的相互遮擋是視訊跟蹤系統中的又一個難題，遮擋是造成目標的影象表達突然變化的重要原因之一，而且這種變化具有突然性和不連續性，從而很容易引起跟蹤演算法的失效；
4). 運動目標的尺度伸縮變化和形變。在跟蹤的過程中，目標的運動會引起與攝像機的距離和視角變化，造成攝像機所捕捉到的目標影象的尺度伸縮以及目標影象表達等產生非線性的變化，從而導致跟蹤的失效；
5). 場景光線亮度變化。同一目標在不同的光線亮度條件下會產生有明顯差異的目標影象，該影響是很多室外實際應用系統中阻礙效能提升的瓶頸；
6). 目標複雜的運動模式。跟蹤演算法主要採用濾波預測演算法，在運動目標可能出現的區域內進行全域性或者區域性搜尋，但當目標具有複雜的運動模式時，如目標的運動速度或者方向發生突然改變，使得運動目標不在預測的搜尋區域內，這樣簡單濾波預測演算法就會失效，進而造成跟蹤目標丟失。
視訊跟蹤的演算法思想通常有兩種： 通過識別目標來進行跟蹤和通過運動目標檢測來進行跟蹤。前一種演算法思想通過識別每一幀的影象中跟蹤目標，來確定該運動目標的位置和實現跟蹤，該演算法思想包含了目標識別和目標匹配兩部分；而後一種跟蹤演算法思想通過檢測和發現運動目標並確定運動目標的位置進行跟蹤，該方法不需要考慮目標的形狀、尺度，可以檢測任何目標。