1. 程式人生 > >影象融合(Image Fusion)簡介

影象融合(Image Fusion)簡介

影象融合(Image Fusion)是用特定的演算法將兩幅或多幅影象綜合成一幅新的影象。融合結果由於能利用兩幅(或多幅) 影象在時空上的相關性及資訊上的互補性,並使得融合後得到的影象對場景有更全面、清晰的描述,從而更有利於人眼的識別和機器的自動探測。

這裡寫圖片描述

確保待融合影象已配準好且畫素位寬一致,且融合後的影象相對原始影象具有較高的空間解析度和光譜解析度,具有明顯的突出資訊和較低的噪聲。兩幅(多幅)已配準好且畫素位寬一致的待融合源影象,如果配準不好且畫素位寬不一致,其融合效果不好。

影象融合(Image Fusion) 技術在遙感探測、安全導航、醫學影象分析、反恐檢查、環境保護、交通監測、清晰影象重建、災情檢測與預報尤其在計算機視覺等領域都有著重大的應用價值。用於較多也較成熟的是紅外和可見光的融合,在一副影象上顯示多種資訊,突出目標。

一般情況下,影象融合由低到高分為:訊號級融合、資料級融合、特徵級融合、決策級融合。

訊號級:
在最低層對未經處理的感測器輸出在訊號域進行混合,產生一個融合後的訊號。融合後的訊號與源訊號形式相同但品質更好,來自感測器的訊號可建模為混有不同相關噪聲的隨機變數。此種情況下,融合可以考慮為一種估計過程,訊號級影象融合在很大程度上是訊號的最優集中或分佈檢測問題,對訊號時間和空間上的配準要求最高。

畫素級:
畫素級影象融合是三個層次中最基本的融合,經過畫素級影象融合以後得到的影象具有更多的細節資訊,如邊緣、紋理的提取,有利於影象的進一步分析、處理與理解,還能夠把潛在的目標暴露出來,利於判斷識別潛在的目標畫素點的操作,這種方法才可以儘可能多的儲存源影象中的資訊,使得融合後的圖片不論是內容還是細節都有所增加,這個優點是獨一無二的,僅存在於畫素級融合中。但畫素級影象融合的侷限性也是不能忽視的,由於它是對畫素點進行操作,所以計算機就要對大量的資料進行處理,處理時所消耗的時間會比較長,就不能夠及時地將融合後圖像顯示出來,無法實現實時處理;另外在進行資料通訊時,資訊量較大,容易受到噪聲的影響;還有如果沒有將圖片進行嚴格的配準就直接參加影象融合,會導致融合後的影象模糊,目標和細節不清楚、不精確。

特徵級:
特徵級影象融合是從源影象中將特徵資訊提取出來,這些特徵資訊是觀察者對源影象中目標或感興趣的區域,如邊緣、人物、建築或車輛等資訊,然後對這些特徵資訊進行分析、處理與整合從而得到融合後的影象特徵。對融合後的特徵進行目標識別的精確度明顯的高於原始影象的精確度。特徵級融合對影象資訊進行了壓縮,再用計算機分析與處理,所消耗的記憶體與時間與畫素級相比都會減少,所需影象的實時性就會有所提高。特徵級影象融合對影象匹配的精確度的要求沒有第一層那麼高,計算速度也比第一層快,可是它提取影象特徵作為融合資訊,所以會丟掉很多的細節性特徵。

決策級:
決策級影象融合是以認知為基礎的方法,它不僅是最高層次的影象融合方法,抽象等級也是最高的。決策級影象融合是有針對性的,根據所提問題的具體要求,將來自特徵級影象所得到的特徵資訊加以利用,然後根據一定的準則以及每個決策的可信度(目標存在的概率)直接作出最優決策。三個融合層級中,決策級影象融合的計算量是最小的,可是這種方法對前一個層級有很強的依賴性,得到的影象與前兩種融合方法相比不是很清晰。將決策級影象融合實現起來比較困難,但影象傳輸時噪聲對它的影響最小。

綜上,研究和應用最多的是像數級影象融合,目前提出的絕大多數的影象融合演算法均屬於該層次上的融合。影象融合狹義上指的就是像數級影象融合。
紅外和可見的融合很多文獻都是從畫素級入手,基於已有的融合演算法,根據實際情況,來設立融合規則,得到適合實際應用場景的融合影象。
這裡寫圖片描述

常用影象融合方法:

這裡寫圖片描述

影象融合主要研究方法進展:

這裡寫圖片描述