影象超解析度及相關知識 簡介
初學者可能往往會把影象解析度和超解析度搞混淆，先來看一下他們的概念。
1.解析度
影象解析度指影象中儲存的資訊量，是每英寸影象內有多少個畫素點，解析度的單位為PPI(Pixels Per Inch)，通常叫做畫素每英寸。一般情況下，影象解析度越高，影象中包含的細節就越多，資訊量也越大。影象解析度分為空間解析度和時間解析度。通常，解析度被表示成每一個方向上的畫素數量，例如64*64的二維影象。但解析度的高低其實並不等同於畫素數量的多少，例如一個通過插值放大了5倍的影象並不表示它包含的細節增加了多少。影象超解析度重建關注的是恢復影象中丟失的細節，即高頻資訊。
在大量的電子影象應用領域，人們經常期望得到高解析度（簡稱HR）影象。但由於裝置、感測器等原因，我們得到的影象往往是低解析度影象（LR）。
增加空間解析度最直接的解決方法就是通過感測器製造技術減少畫素尺寸（例如增加每單元面積的畫素數量）；另外一個增加空間解析度的方法是增加晶片的尺寸，從而增加影象的容量。因為很難提高大容量的偶合轉換率，所以這種方法一般不認為是有效的，因此，引出了影象超解析度技術。
2.影象超解析度
影象超解析度（Image Super Resolution）是指由一幅低解析度影象或影象序列恢復出高解析度影象。影象超解析度技術分為超解析度復原和超解析度重建。目前， 影象超解析度研究可分為 3個主要範疇： 基於插值、 基於重建和基於學習的方法。
超解析度(Super-Resolution)即通過硬體或軟體的方法提高原有影象的解析度，通過一系列低解析度的影象來得到一幅高解析度的影象過程就是超解析度重建。超解析度重建的核心思想就是用時間頻寬(獲取同一場景的多幀影象序列)換取空間解析度,實現時間解析度向空間解析度的轉換。
3.與其他影象處理技術的關係
影象修復技術與影象超解析度技術比較：
影象插值與影象超解析度的比較： 影象插值，即增加單幅影象的尺寸。一般的插值並不能恢復LR取樣過程中丟失的高頻資訊，但是影象超解析度可以，因此影象插值方法不能被認作是SR技術。
影象銳化與影象超解析度的比較： 影象銳化可以提升高頻資訊，但僅增強已有的高頻成分；超解析度技術能估計出原始影象中沒有表現出來的高解析度細節。
影象拼接與影象超解析度的比較： 影象拼接雖然將多幅影象結合成更大的影象，包含了更多的畫素，但沒有提供更多的細節資訊，所以不能算是超解析度技術。
4.技術分類
A.所處領域
（1）基於頻域的方法
主要是傅立葉變換及其逆變換。由於影象細節是通過高頻資訊反映出來的，所以消除低解析度影象裡的頻譜混疊就可以獲得更多被掩蓋掉的高頻資訊，從而增加影象細節，提高影象的解析度。
優點：原理清晰，理論推導方便，計算複雜度較低；
缺點：只適用於空間不變噪聲的情況，只能處理影象中僅有整體運動而沒有區域性運動的情況，難於在處理過程中利用先驗資訊。
（2）基於空域的方法
空域的方法常利用影象區域性的資訊進行，增加畫素的數量和緊密程度，從而增加影象細節，提高影象的解析度。
優點：種類多，可將各種退化因素綜合考慮，靈活性強；
缺點：設計複雜，計算複雜度較高。
B.根據所用低解析度影象的數量
（1）基於單幅影象的超解析度（SISR）
輸出是單幅影象。 包含：影象放大（影象尺寸或畫素的增加）、超解析度復原（利用點擴散函式和目標的先驗知識，在影象系統的衍射極限之外復原影象資訊）。
（2）基於多幅影象的超解析度（MISR）
輸出的可以是單幅影象也可以是一個影象系列（常為視訊）。其基本前提是通過同一場景可以獲取多幅LR細節影象，每一幅LR影象都會為HR影象的復原提供一些不同的資訊，如果能夠合成這些HR影象，那麼SR影象復原是可以實現的。
C.根據技術本身的特點
（1）基於重建的超解析度
基於重建的超解析度復原方法是對影象的獲取過程建立觀測模型，然後通過求解觀測模型的逆問題來實現超解析度重建。觀測模型描述了成像系統從高解析度場景 （影象）獲取低解析度觀測影象的過程。
從本質上講，利用單幅或多幅LR觀測影象獲取HR觀測影象是求解觀測問題的逆問題，它是一個病態反問題。
關鍵步驟：配準、重建。 配準是將多幅同一場景的LR影象在空間上進行亞畫素精度對齊, 得到高低解析度影象彼此之間的運動偏移量, 構建觀測模型中的空間運動引數。重建是採用不同的先驗約束條件 (平滑性、非負性和能量有限性等) 和最優化求解方法進行HR影象的求解。
典型方法：非均勻插值法、迭代反投影法、最大後驗概率法（目前實際應用和科學研究中運用最多的一種方法）、凸集投影法。
（2）基於學習的超解析度
藉助預先的訓練學習（從資料庫）來尋找或建立低解析度影象與其對應的高解析度影象之間的對映關係，提取高頻資訊，從而在給定低解析度影象的情況下，通過優化方法獲得相應的高解析度影象。
淺層學習：特徵提取–>學習–>重建
深度學習：特徵提取–>非線性對映–>影象重建