第八章 醫學影象的配準和融合
一 概述
根據醫學影象所提供的資訊可將影象分為兩類：解剖結構影象和功能影象。這兩類影象各有優缺點：解剖影象以較高的解析度提供臟器的解剖形態資訊，但無法反映臟器的功能情況；功能影象的解析度較差，但它提供的臟器功能代謝資訊是解剖影象不能替代的。

二 醫學影象配準與融合的關係
影象配準是影象融合的先決條件，必須是先進行配準變換，才能實現準確的融合。

三 醫學影象配準和融合在臨床中的應用
對使用各種不同或相同的成像手段獲得的醫學影象進行配準和融合不僅可以採用醫療診斷，還可以用於外科手術的制定、放射治療計劃的制定、病理變化的跟蹤和治療效果的評價等各個方面。

第二季 醫學影象的配準技術
一 醫學影象配準的概念
対幾幅不同的影象做定量分析，首先要解決的這幾幅影象的嚴格對其問題，這就是我們所說的影象配準。
醫學影象配準是指對於一幅醫學影象尋求一種（或一系列）空間變換，使它與另一幅醫學影象上的對應點達到空間上的一致。這種一致是指人體上的同一解剖點在兩張匹配影象上有相同的空間位置（位置一致、角度一致、大小一致）。配準的結果應使兩幅影象上所有的解剖點，或至少是所有具有診斷意義的點及手術感興趣的點達到匹配。

二 醫學影象配準方法的分類
目前對醫學影象配準進行的分類，歸納為7類：
（1）按影象維數分類。按影象維數分類為2D/2D 2D/3D 3D/3D，2D/2D配準是指兩個斷層面間的配準。2D/3D 配準通常指空間影象和投影影象間的直接配準。3D/3D是指兩幅三維空間影象的配準。
（2）根據醫學影象的模態分類。根據醫學影象的模態分為單模態醫學影象配準和多模態醫學影象配準。單模態影象配準是指待配準的兩幅影象是用一種成像裝置獲取的，多模態是指待配準的兩幅影象來源於不同的成像裝置。
（3）根據變換性質分類。
（4）根據使用者互動性的多少分類。
（5）根據配準所基於的影象特徵分類。
（6）根據配準過程中變換引數確定的方式分類。
（7）根據主體分類。
三 醫學影象配準的基本過程
（1）根據待配準影象（浮動影象）I2與參考影象I1（基準影象），提取出影象的特徵資訊組成特徵空間。
（2）根據提取出的特徵空間確定出一種空間變換（T），使帶配準影象I2經過該變換後與參考影象I1能夠達到所定義的相似性測度，即I1 = T（I2）。
（3）在確定變換過程中，還需採取一定的搜素策略也就是優化措施以使相似性測度更快更好的達到最優值。

第三節 醫學影象配準的理論基礎
一 影象配準原理
對於在不同時間和不同條件下獲取的兩幅影象A(X)和B(X)的配準，就是要定義一個相似性測度並尋找一個空間變換關係，使得經過該空間變換後兩幅影象間的相似性達到最大（或者差異最小）。即使影象A上的每一個點在影象B上都有唯一的點一直對應，並且這兩點應對應同一解剖位置。
二 空間變換
如整幅影象應用相同的空間變換，則稱為全域性變換；否則，稱為區域性變換。根據影象變換的形式不同有線性變換和非線性變換。線性變換包括剛體變換、仿射變換和的投影變換。
（1）剛體變換
所謂剛體，是指物體內部任意兩點之間的距離保持不變。剛體變換使得一幅影象中任意兩點間的距離在變換前後保持不變。
（2）仿射變換
它將直線對映為直線，並保持平行性。仿射變換的具體表現在可以是各個方向尺度變換系數一致的均勻變換或變換系數不一致的非均勻尺度變換及剪下變換。
（3）投影變換
與仿射變換相似，投影變換將直線對映為直線，但不保持平行性質。投影變換主要用於二維投影影象與三維體積影象的配準。
（4）非線性變換。
非線性變換是把直線變換成曲線。它反映的是影象中組織或器官的嚴重變形或位移。
三 引數的優化搜尋
（1）powell 法
（2）梯度下降
（3）遺傳演算法
四 插值法
影象配準中，空間座標變換後得到的畫素的座標位置可能不在整數畫素上，因此需要用灰度插值的方法對畫素進行估計。常用的插值方法有最近鄰插值、雙線性插值和部分體積分佈等。
（1）最近鄰插值（NN）
該方法是一種簡單的插值演算法，也稱為零階插值。設需要插值的點為N，在二維影象中，臨近該點的坐落在網格上的畫素點分別為：n1，n2，n3，n4.最近鄰法直接計算n和鄰近4個點之間的距離，並將該點距離最小的點的灰度值賦值給n。
（2）雙線性插值（BI）
又稱為一階插值法，它是使用線性插值來求畫素灰度的一種方法。具體的計算方法為首相沿著一個座標軸方向使用線性插值方法求出兩點的插值灰度，然後沿另一個座標軸，利用這兩個點對目標進行線性插值來求灰度。
雙線性插值法由於考慮到直接鄰近點對待插值點的灰度影響，因此一般能得到令人滿意的插值效果。但這種方法具有低通濾波性質，使高頻分量受到損失。此外，由插值所得到的灰度值是經過數字計算出來的，一般不會是整數，而且也有可能產生原始影象中所沒有的灰度值，因此可能會改變影象中的灰度分佈，特別是當影象中有很多需要進行插值的畫素點時。
（3）部分體積插值法（PV）
是對雙線性插值法的一個改進。主要是為了克服雙線性插值方法在影象中會產生新的灰度值而引起影象灰度分佈變化的缺點，一便得到較光滑的目標函式，有利於優化搜素。
PV是根據線性插值的權重分配原則，將每隊畫素對聯合直方圖的貢獻分散到聯合直方圖中與之相鄰的各個畫素對上，這樣聯合直方圖上各個畫素對的頻度值以小數相加，因此不會出現新的灰度值而破壞目標函式值分佈的光滑性。
實際上，PV方法只是用灰度統計代替插值。
五 相似度測度
配準過程在得到幾何變換後，進一步的工作就是要找到一種合適、最優的描述量，用以表徵相似或者差異，稱這種描述量為相似性測度。
（1）灰度均方差
（2）歸一化互相關
（3）互資訊
第四節 醫學影象配準的主要方法
目前主要的配準方法大體分為兩種：基於特徵的配準方法和基於灰度的配準方法。
一 基於特徵的配準方法
基於特徵是配準方法首先要對待配準影象進行預處理，也就是特徵提取的過程。然後利用提取到的特徵完成兩幅影象特徵之間的匹配。由於影象中有很多種可以利用特徵，因而產生了多種基於特徵的方法。
（1）基於點特徵的配準
點特徵是影象配準中最為常用的影象特徵之一，分為外部徵點和內部特徵點兩種。
（2）基於直線特徵的配準
線段是影象中另一個易於提取的特徵。Hough變換是提取影象中直線的有效方法。Hough變換可以將原始影象中給定形狀的曲線或直線變換得到變換空間域的一個點位置。它使得原始影象給定形狀的曲線或直線上所有的點都集中到變換域上的某一個點位置從而形成峰值。這樣，原始影象中的直線或曲線的檢測問題就變成尋找變換空間中的峰點問題。正確建立兩幅影象中分別提取的直線段的對應關係依然是該方法的重點和難點。綜合考慮直線段的斜率和端點的位置關係，可以夠造成一個這些資訊指標的直方圖，並通過尋找直方圖的聚集束到達直線段的匹配。
（3）基於輪廓和曲線特徵的配準
（4）基於面特徵的配準
最典型的演算法是“頭帽法”，即從影象中提取一個表面模型稱為“頭”，從另外一幅影象輪廓上提取的點集稱為：“帽子”。用剛體變換或選擇性的仿射變換將“帽子”的點集變換到“頭”上，然後採用優化演算法使得“帽子”的各點到“頭”表面的均方根據距離最小。
二 基於灰度的配準方法
它直接利用影象的灰度資訊進行配準，從而避免了因分割帶來的誤差，因而具有精度高、穩健性強、不需要預處理而能實現自動配準的特點。
基於灰度處理的配準方法主要有：一類是通過影象灰度直接計算出代表性的比例和方向等要素；另一類是配準過程中使用全部的灰度資訊。第一種方法以力矩和 主軸法為代表，第二種方法一般稱為體素形式性。
（1）力矩和主軸法
力矩和主軸法是指先用經典力學物體質量分佈的原理計算出兩幅影象的質心和主軸，再通過平移和旋轉等變換是兩幅影象達到配準。利用此方法，影象可以模型化為橢圓形區域的點分佈。這樣的分佈可以用這些點的位置的一階矩和二級矩描述。該方法對資料的缺失比較敏感，要求整個物體必須完成的出現在兩幅影象中。從整體上來說，配準精度較差，所以目前它更多的用來進行粗配準，使兩幅影象初步對齊，以減少後續主要配準方法的搜尋步驟。
（2）體素相似性法
體素相似性法是目前研究較多的一類方法。由於它利用了影象中的所有灰度資訊，一次這種方法一般都比較為穩定，並能獲得相當準確的結果。該方法還有一個優點是它完全自動的，且不需要特殊的預處理。但這種方法由於需要大量的複雜計算，因此近幾年才轉入實際應用。

第五節 醫學影象配準的評估
（1）體模
（2）準標
（3）圖譜
（4）目測檢測

第六節 醫學影象融合技術
一 醫學影象融合概念
醫學影象融合是將兩幅（或兩幅以上）來自不同成像裝置或不同時刻獲取的以配準影象，採用某種演算法，把各個影象的優點或互補性有機地結合起來，獲得資訊量更豐富的新影象的技術。
在影象融合處理中，影象配準是影象融合的第一步，也是實現影象融合的先決條件。
二 醫學影象融合分類
（1）按照被融合影象的成像方式分類。單模融合和多模融合
（2）按照融合物件的不同分類。單樣本時間融合、單樣本空間融合和模板融合。
（3）按照影象處理方法的不同分類。數值融合法和智慧融合法。
（4）按照影象型別不同分類。

第七節 常用的醫學影象融合方法
一 基於空域的影象融合
基於空域的影象融合是直接在空域中對影象的畫素點進行操作，該類方法簡單直觀、易於理解，但常常融合效果有限，只適用於有限的集合。
（1）影象畫素灰度值極大或極小融合法
（2）影象畫素灰度值加權融合法
（3）TOET影象融合方法
二 基於變換域的影象融合
變換語法，就是將變換後得兩個或多個影象進行融合，再通過反變換後得到融合後圖像的方法。
（1）基於多解析度的金子塔融合方法
這種影象的方法中，原影象不斷的被濾波，形成了一個塔結構。在塔的每一層都用一種演算法對這一層的資料進行融合，從而得到了一個合成的塔式結構，然後對合成的塔式結構進行重構，最後得到合成的影象。合成影象包含了原影象的所有重要資訊。但這類方法產生的資料有冗餘，且不同級的資料之間相關。
（2）基於傅立葉變換的影象融合法
傅立葉變換是影象處理技術的基礎，其通過在時空域和頻率域來回切換影象。基於傅立葉變換的影象融合包含一下三個步驟：
A、對每一個影象分別進行影象的二維傅立葉變換；
B、對變換系數通過加權得到融合影象的傅立葉變化；
C、對融合後的係數進行傅立葉反變換，得到融合影象。
（3）基於小波變換的影象融合
小波變換的本質是一種高通濾波，當採用不同的小波基，就會產生不同的濾波效果。小波變換可將原始影象分解成一系列具有不同空間解析度和頻域特性的子影象，可以針對不同頻帶子影象的小波係數進行組合，形成融合影象的小波係數。
A、影象的二維小波分解及融合

第八節 醫學影象融合效果評價
一 熵
影象的熵值是衡量影象資訊豐富程度的一個重要指標，熵值得大小表示影象所包含的平均資訊量的多少。如果一個影象的熵增大，表示融合影象的資訊量增加，融合影象所包含的資訊就越豐富，融合質量越好。

二 交叉熵
交叉熵也稱相對熵，直接反映了兩幅影象灰度分佈資訊的差異。設源影象和融合影象的直方圖分別為pi和qi，則交叉熵定義為:

三 互資訊
互資訊為兩個變數之間相關性的量度，或一個變數包含另一個變數的資訊量的度量。

互資訊的值越大，表示融合影象從原影象中獲取的資訊越豐富，融合效果越好。