Mixed-Domain Edge-Aware Image Manipulation 閱讀筆記
本文提出了一個新的基於邊緣感知的影象處理方法:構建一個高斯金字塔,然後對每一層應用一個非線性濾波,接著使用全域性優化來合併這些空間變化濾波器的輸出。該優化問題是使用明確的混合域(實空間和DCT變換空間)解決方案來解決的,該解決方案高效,準確且易於實現。我們演示了我們的方法應用於一系列問題,包括細節和對比度處理,HDR壓縮,非真實感渲染和霾清除。邊緣感知影象編輯處理的關鍵是邊緣和細節處理的不同步。
本文通過構建金字塔來達到減少光暈效果的目的。最開始的一層(頂層)採用線性濾波作為初始層,然後接下來每層與前一層進行融合,當前層經過區域性濾波後含有較多細節,他的前一層則含有更多輪廓資訊,以這種方式控制結果的詳細行為有助於減少光暈。
本文一共兩個貢獻:
1一種新的,具有旋轉不變性的基於優化的邊緣感知影象處理公式,可避免光暈,梯度反轉和鋸齒等難看的偽像(影象金字塔的優勢)。
2針對結果優化問題的混合域解決方案表現準確,高效且易於實施(不變性)。
(1) 基於邊緣感知的影象處理
常見的基於邊緣感知的影象處理有雙邊濾波,基於各向異性擴散的方法,基於最小二乘法。本文同樣是基於邊緣感知的影象處理方法,同時還可以避免邊緣產生偽像。
LLF的問題:文章提到Paris et al.的LLF介紹了局部拉普拉斯濾波器(LLF),它使用一組簡單的區域性濾波器直接巧妙地操縱拉普拉斯金字塔。 然而,LLF在計算上是昂貴的,因為必須為拉普拉斯金字塔的每個元素構造子金字,然而,LLF在計算上是昂貴的,因為必須為拉普拉斯金字塔的每個元素構造子金字塔。Paris等通過分析畫素點亮度的變化,利用拉普拉斯金字塔將影象分層.這類方法直觀形象、簡單易行,但當噪聲與邊緣結構相似時,無法消除它們。
域變換是Gastal和Oliveira [6]【Domaint,ransform for edge-aware image and video processing】提出的用於實時邊緣感知影象處理的最新技術。它基於從5D影象流形到2D真實空間的資料相關變換,保留了測地距離。但是他不具有旋轉不變性,而我們的具有旋轉不變性。
(2)基於優化的影象處理
1 基於梯度域進行影象處理,而不是直接對影象畫素進行操作(因為視覺系統(HVS)對區域性對比度比絕對強度更敏感,沒有對比就沒有傷害),作者分析了本文域梯度域的關聯。
2二次能量:
其他優化:總變差優化,L0等約束項。
本文提供了一種新穎的基於多尺度優化的邊緣感知影象處理方法,在每個尺度上,我們優化子視窗上的二次目標函式,以合併一組區域性邊緣感知濾波器的輸出,與WLS不同,我們的目標函式的係數具有空間不變的結構,這允許快速的頻域解決方案來解決最終的優化問題。 使用多尺度方案有助於減少光環
(3)演算法
A: 本文只接受單通道影象,我們的演算法允許使用者分別自由地操縱影象的的詳細外觀和整體外觀,而無需精確指定如何將影象分解為這些元件。和區域性拉普拉斯濾波器(LLF)一樣,一共三個引數:細節增大和減小,輪廓增大和減小,一個控制細節範圍的閾值。
我們的區域性濾波器設計遵循[5]LLF中的思路,但有一些更改以更好地符合我們的演算法,如第III-B節所述,我們的區域性濾波器設計遵循[5]中的思路,但有一些更改以更好地擬合我們的演算法,如第III-B節所述。 我們的主要演算法貢獻通過有效和精確的頻域解決方案(見第III-D節)設計一個優化框架來用於權衡方程式(2)和(3)(見第III-C節)。
計算每一層的濾波輸出要同時考慮(2)和(3)
上一層進行上取樣後儘可能與當前層卷積後相同。(上一層含有較多輪廓資訊,因此可以確保輪廓資訊)
同時保證當前層濾波後有較多的細節資訊,因此精心地設計了一個區域性濾波器,小的mask採用圓形,因此具有旋轉不變性,
B:區域性濾波器
類似LLF,做了一點改進,使得本文過濾器更好地遵循從頂層繼承的整體外觀,
C: 全域性優化
本文目標函式由(2)和(3)構成,類似WLS,但是本文的目標函式具有空間不變的特性,因此得
通過推演,最終每層的輸出可以通過頻域中進行(12)。
本文采用簡單的DCT(Discrete Cosine Transform),採用傅立葉變換來優化相關問題已經很常見,但是本文與之前的頻域優化問題不同的時,本文頻域公式中還包含額外的項。因此不能完全基於頻域進行優化。可以通過2維的DCT得到。但是需要基於真實域進行得到。因此最終求解(8)既要在頻域中求解又要在空間域中計算,因此得本文提出的混合域求解。
總結討論:
1 由於我們使用二次目標函式,我們的方法與梯度域影象處理技術密切相關。
2 本文在消去光暈的問題上,主要得益於金字塔方法。
3 本文方法的準確率和效果不依賴與區域性濾波器中的對映函式。
4 本文因為採用圓形視窗,因此具有旋轉不變性,因此使得本文不同與其他非旋轉不變性的快速濾波技術。
5 目標函式(8)係數具有空間不變的結構,不同於任意二次函式的係數,因此可以採用有效且精確的頻域方法來優化方程(8)。