基於小波的融合（wavelet）

　　小波變換的固有特性使其在影象處理中有如下優點：完善的重構能力，保證訊號在分解過程中沒有資訊損失和冗餘資訊；把影象分解成平均影象和細節影象的組合，分別代表了影象的不同結構，因此容易提取原始影象的結構資訊和細節資訊；小波分析提供了與人類視覺系統方向相吻合的選擇性影象。

　　離散小波變換(Discrete Wavelet Transform, DWT)。DWT的函式基由一個稱為母小波或分析小波的單一函式通過膨脹和平移獲得。因而，DWT同時具有時域和頻域分析能力，與一般的金字塔分解相比，DWT影象分解具有以下優勢：

1）具有方向性，在提取影象低頻資訊的同時，還可獲得了水平、垂直和對角三個方向的高頻資訊；

2）通過合理的選擇母小波，可使DWT在壓縮噪聲的同時更有效的提取紋理、邊緣等顯著資訊；

3）金字塔分解各尺度之間具有資訊的相關性，而DWT在不同尺度上具有更高的獨立性。

　　DWT 融合演算法基本思想與金字塔演算法一致，即：首先對源影象進行小波變換，然後按照一定規則對變換系數進行合併；最後對合並後的係數進行小波逆變換得到融合影象。由於不具有移不變性，基於DWT的標準小波融合演算法獲取的融合影象通常會存在“振鈴”干擾;特別在處理連續的影象序列時，融合結果會出現明顯的閃爍和抖動現象。

1、原理闡述

　　（1）小波的簡單計算原理

　　[x0，x1，x2，x3]=[90，70，100，70] 為達到壓縮 我們可取 (x0+x1)/2  (x0-x1)/2 來代表 x0,x1  這樣 [90,70] 可表示為 [80,10] 80即平均數 10是小範圍波動數（可想象出一種波的形狀） [90,70] --〉[80,10] , [100,70] --〉 [85,15] 可以想象80 和85 都是區域性的平均值反映大的總體的狀態，是變化相對緩慢的值，可以認為他們是低頻部分的值。 而10、15是小範圍波動的值區域性變換較快，可以認為他們是高頻部分的值。

　　1、 FIRST：把[90,70,100,70] 寫成 [80,85,10,15] 即把低頻部分寫在一起（記頻率L） 高頻部分寫在一起（H) 

　　2、 SECOND：而[80,85] 又可經同樣的變換--> [82.5, -2.5] 這樣 82.5表示更低頻的資訊(記頻率LL) -2.5則表示了頻率L上的波動 

　　3、最後[90,70,100,70] --〉[82.5, -2.5, 10, 15] 這樣資訊就可被壓縮了（數字範圍小了）

　　現在再來擴充套件一下  [90,70]---> [80,10] 寫成矩陣 [90,70] * [1/2, 1/2] 

                                                 　　　　　　　　　　　　　　　[1/2 ,-1/2] 

　　矩陣[1,1；1,-1]/2為haar轉換矩陣。

　　如果是[90，70,100,70]第一步就可以寫成矩陣M1：[0.5,0,0.5,0; 0.5,0,-0.5,0; 0,0.5,0,0.5;0,0.5,0,-0.5]，第二步只對低頻L操作，高頻不變可寫成M2：

　　[1/2,  1/2, 0, 0; 1/2, -1/2, 0, 0; 0,  0,  1, 0 ;0,  0,  0, 1]。另M= M1*M2，可得到4*4的點陣操作。

　　第一步運算後原影象縮小至左邊一半了，右邊的是對應波動資訊；

　　第二步運算後圖像又縮小至左邊一半了，對應波動資訊。

　　對一幅影象先進行行變化，在進行列變化，那麼就是小波變化了。

　　LL：水平低頻，垂直低頻

　　LH：水平低頻，垂直高頻

　　HL：水平高頻，垂直低頻

　　HH：水平高頻，垂直高頻

　　其中，L表示低頻，H表示高頻，下標1、2表示一級或二級分解。在每一分解層上，影象均被分解為LL，LH，HH和HL四個頻帶，下一層的分解僅對低頻分量LL進行分解。這四個子影象中的每一個都是由原圖與一個小波基函式的內積後，再經過在x和y方向都進行2倍的間隔取樣而生成的。這是正變換，也就是影象的分解；逆變換，也就是影象的重建。是通過影象的增頻取樣和卷積來實現的。這裡有個問題進過處理後，資料或超出255或者出現負數，需要將其歸一化到0-255之間，方可顯示影象。這裡介紹的只是簡單的小波計算，小波計算的而不同就在於選取不同的小波係數，一般有haar小波，sym2小波等。

2、融合規則

規則一：係數絕對值較大法

　　該融合規則適合高頻成分比較豐富，亮度、對比度比較高的源影象，否則在融合影象中只保留一幅源影象的特徵，其他的特徵被覆蓋。小波變換的實際作用是對訊號解相關，並將訊號的全部資訊集中到一部分具有大幅值的小波係數中。這些大的小波係數含有的能量遠比小系數含有的能量大，從而在訊號的重構中，大的係數比小的係數更重要。

規則二：加權平均法

　　權重係數可調，適用範圍廣，可消除部分噪聲，源影象資訊損失較少，但會造成影象對比度的下降，需要增強影象灰度。

規則三：區域性方差準則

　　設A(x,y)和B(x,y)分別為高頻子影象資料值，F(x,y)為相應高頻子影象融合值，將A(x,y)和B(x,y)分成若干個M×N子塊影象。對每個子塊影象進行數值分佈統計，計算其方差。確定A和B影象每個子塊影象加權係數K1和K2。如果A影象子塊方差大於B影象子塊方差,則K1≥K2，否則K1<K2。確定每個子塊影象的資料融合數值為：F(i,j)=K1A(i,j)+K2B(i,j)。

3、融合應用

　　若對二維影象進行N層的小波分解,最終將有(3N+1)個高低頻帶，其中包含3N個高頻帶和一個低頻帶。影象融合的基本步驟如下。

　　1）對每一源影象分別進行小波分解，建立影象的小波金字塔分解。

　　2）對各分解層分別進行融合處理，採用不同的融合運算元對各分解層的不同頻率分量進行融合處理，最終得到融合後的小波金字塔。低頻：加權平均，高頻：絕對值取大。

　　3）對融合後所得的小波金字塔進行小波逆變換，所得到的重構影象即為融合後的影象。

　　影象的低頻部表現的是影象的概貌和平均特性；影象的高頻反應的是影象的細節特性，如影象的邊緣、區域邊界等。

　　融合規則：

　　基於區域性方差的融合規則：在鄰域W中，影象I在以（i ，j)為中心點的區域性方差定義：

　　式中為影象I 的均值，M，N 分別為區域性區域的行數和列數，這裡取區域性區域為3*3，基於區域性方差的融合方式常用的方法是選擇法，即通常說的區域性方差取大法。方差選擇法的融合規則：

　　L為分解尺度， 表示影象小波係數， 表示影象小波係數， =d=H,V,D分別表示的是水平、垂直、對角高頻分量。如果兩幅圖片直接使用區域性方差法進行融合，區域性方差相差較大時，採用區域性方差取大法能夠比較完整的儲存影象的微小細節。一旦區域性方差相差很小時，區域性方差取大法會使影象細節失真。

　　影象融合有一個重要的目的，即將影象的邊緣、細節等都包含到融合影象中。一種方法是將影象的邊緣提取出來，將它應用到相應的融合演算法中。影象邊緣檢測的最好的運算元是 canny 運算元，將canny運算元和區域性方差的融合規則的演算法相結合，提出了一種新的改進融合方法。融合步驟如下：

　　（1）小波分解。對於影象 A，B 分別進行 3 層小波分解，得到低頻分量AA、AB和高頻分量DLH，DLV，DLD。

　　（2）低頻融合。對低頻分量AA 和AB 所有的畫素點計算其區域性方差Var(i ,j)AA和 Var(i ,j)BA，然後進行歸一化：

　　然後，利用歸一化的區域性方差，按照如下：

　　（3）高頻融合。在影象 A 和 B 的每一個高頻分DLA，DLB中，對每一個高頻分量用 canny 運算元進行邊緣提取，再對邊緣影象的每一個元素計算區域性方差：

　　其中，表示源影象的第l層經 canny 運算元處理的高頻係數，為源影象的第l層經 canny 運算元提取後的均值，是對源圖

像的第l層高頻分量進行邊緣提取後求得的區域性方差。

　　（4）小波重構。對融合後的係數進行小波重構，得到融合後的影象。

　　附：這裡介紹的小波是最簡單的形式，融合規則也比較常用，很多紅外和可見的融合也都用到了這裡的規則，所以，實現這裡面的演算法來適用我們的應用。

​