光流法簡單總結【轉】
阿新 • • 發佈:2019-01-29
1 基於梯度的方法
基於梯度的方法又稱為微分法,它是利用時變影象灰度(或其濾波形式)的時空微分(即時空梯度函式)來計算畫素的速度向量。由於計算簡單和較好的結果,該方法得到了廣泛應用和研究。典型的代表是Horn-Schunck的光流計算方法,該方法在光流基本約束方程的基礎上附加了全域性平滑假設,從而計算出光流場。基於此思想,大量的改進演算法不斷提出。Nagel採用有條件的平滑約束,即通過加權矩陣的控制對梯度進行不同平滑處理;Black和Anandan針對多運動的估計問題,提出了分段平滑的方法。雖然很多基於梯度的光流估計方法取得了較好的光流估計,但由於在計算光流時涉及到可調引數的人工選取、可靠性評價因子的選擇困難,以及預處理對光流計算結果的影響,在應用光流對目標進行實時檢測與自動跟蹤時仍存在很多問題。
2 基於匹配的方法
基於匹配的光流計算方法包括基於特徵和區域的兩種。基於特徵的方法不斷地對目標主要特徵進行定位和跟蹤,對目標大的運動和亮度變化具有魯棒性(robustness)。存在的問題是光流通常很稀疏,而且特徵提取和精確匹配也十分困難。基於區域的方法先對類似的區域進行定位,然後通過相似區域的位移計算光流。這種方法在視訊編碼中得到了廣泛的應用。然而,它計算的光流仍不稠密。另外,這兩種方法估計亞畫素精度的光流也有困難,計算量很大。在考慮光流精度和稠密性時,基於匹配的方法適用。
3 基於能量的方法
基於能量的方法首先要對輸入影象序列進行時空濾波處理,這是一種時間和空間整合。對於均勻的流場,要獲得正確的速度估計,這種時空整合是非常必要的。然而,這樣做會降低光流估計的空間和時間解析度。尤其是當時空整合區域包含幾個運動成分(如運動邊緣)時,估計精度將會惡化。此外,基於能量的光流技術還存在高計算負荷的問題。此方法涉及大量的濾波器,目前這些濾波器是主要的計算消費。然而,可以預期,隨著相應硬體的發展,在不久的將來,濾波將不再是一個嚴重的限制因素,所有這些技術都可以在幀速下加以實現。
4 基於相位的方法
Fleet和Jepson首次從概念上提出了相位資訊用於光流計算的問題。因為速度是根據帶通濾波器輸出的相位特性確定的,所以稱為相位方法。他們根據與帶通速度調諧濾波器輸出中的等相位輪廓相垂直的瞬時運動來定義分速度。帶通濾波器按照尺度、速度和定向來分離輸入訊號。
基於相位的光流技術的綜合性能是比較好的:速度估計比較精確且具有較高的空間解析度,對影象序列的適用範圍也比較寬。同時,這裡仍有幾個問題值得討論:
(1)與基於能量的光流技術一樣,基於相位的模型既有一定的生物合理性,又有較高的計算複雜性;
(2)儘管相位技術用兩幀影象就可計算光流,但要獲得足夠的估計精度,就必須有一定的整合時間,這個延遲將會降低邊緣處運動估計的時間解析度;
(3)Fleet和Jespon的方法對輸入影象序列中的時間混疊比較敏感。
5 神經動力學方法
計算機視覺研究的初衷就是為了模仿人類視覺系統的功能。然而人類理解與識別影象的能力與計算機形成了巨大的反差。視覺科學家們迫切期望借鑑人類處理影象的方法,以擺脫困境。對於光流計算來講,如果說前面的基於能量或相位的模型有一定的生物合理性的話,那麼近幾年出現的利用神經網路建立的視覺運動感知的神經動力學模型則是對生物視覺系統功能與結構的更為直接的模擬。
Grossberg等人的視覺運動感知神經動力學模型描述了運動感知中視皮層簡單細胞、複雜細胞、超複雜細胞以及視網膜雙極細胞之間的相互作用,揭示了運動分割與組合、競爭與合作的神經整合機制。這個稱為運動邊界輪廓系統的神經網路解釋了複雜運動圖形上的區域性模糊運動如何被積極地組織成一個整體一致的運動訊號,給出了整體小孔問題的一個解。這個模型對於整體運動方向的判別非常有效,然而它卻不能給出運動速度的大小。
Fay和Waxman模仿視網膜中的時空處理和大腦的視覺運動通路,基於並聯動力學提出了一個多層神經網路,它涉及光適應、邊緣增強和邊緣速度提取等幾個處理階段。網路中,每個節點的動力學特性類似於具有可變電導的細胞膜,光適應利用神經元間的抑制作用來獲取,空間對比度增強借助於一個修正的on-中心/off-周邊反饋網路來實現,最後的速度估計由一個稱為對傳活化法的動力學方程來提取。這個神經網路在一併行機上實現了30幀/秒的幀速下的速度提取。遺憾的是它僅能提供運動邊緣的法向速度估計,為了恢復整個模式的光流場,還必須用速度泛函方法將估計的法向流整合成一個緻密的光流場。儘管用這些神經動力學模型來測量光流還很不成熟,然而這些方法及其結論為進一步研究打下了良好的基礎,是將神經機制引入運動計算方面所做的極有意義的嘗試。一併行機上實現了30幀/秒的幀速下的速度提取。遺憾的是它僅能提供運動邊緣的法向速度估計,為了恢復整個模式的光流場,還必須用速度泛函方法將估計的法向流整合成一個緻密的光流場。
儘管用這些神經動力學模型來測量光流還很不成熟,然而這些方法及其結論為進一步研究打下了良好的基礎,是將神經機制引入運動計算方面所做的極有意義的嘗試。