原文

摘要

去霧處理是近年出現的一種影象增強技術。儘管它很重要，但是沒有資料集來定量評估這些技術。在本文中，我們介紹了一個包含1400多對影象的資料集，這些影象包含地面真實參考影象和同一場景的模糊影象。由於光照條件的變化，記錄這樣的影象是不可行的，我們通過合成複雜場景的真實影象中的霧度來建立資料集。我們的資料集被稱為D - HAZY，是建立在Middelbury [1]和NYU Depth [2] 資料集上的，這些資料集提供了各種場景的影象及其相應的深度圖。由於在霧介質中，場景輻射隨距離衰減，基於深度資訊並使用霧介質的物理模型，我們能夠以高保真度建立相應的朦朧場景。最後，利用D-HAZY資料集，我們對幾種最先進的單影象去霧技術進行了全面的定量評估。
關鍵詞

簡介

影象去霧是近年來廣泛研究的一種典型的影象增強技術，旨在恢復有霧場景的原始光強。雖然早期的去霧方法使用了額外的資訊，如多幅影象[ 3 ]或深度[ 4 ]的粗略估計，但最近的技術已經通過僅使用單一模糊輸入影象[ 5 ]、[ 6 ]、[ 7 ]、[ 8 ]、[ 9 ]、[ 10 ]、[ 11 ]、[ 12 ]、[ 13 ]、[ 14 ]、[ 15 ]和[ 16 ]的資訊來解決這個問題。現有技術恢復了假設Koschmedier [17]的物理模型的潛在的影象。由於去霧問題在數學上是不適定的，因此有多種方法來估計兩個未知數:空運常數和傳輸圖。Fattal [ 5 ]採用了一種圖形模型，在假設影象陰影和場景傳輸是區域性不相關的情況下，解決了大氣光值顏色的模糊性。Tan的方法[ 6 ]是最大化區域性對比度，同時限制影象強度小於全球大氣光值。He等人[ 7 ]，[ 18 ]介紹了一種基於暗通道統計觀察的強大方法，允許對傳輸圖進行粗略估計，並通過阿爾法摳圖策略[ 19 ]進一步完善。Tarel和Hauti`ere [ 8 ]介紹了一種過濾方法，假設深度圖必須平滑，除非沿著深度跳躍較大的邊緣。Kratz和Nishino [ 9 ]提出了一種貝葉斯概率方法，通過充分利用其潛在的統計結構，從單一退化影象中聯合估計場景反照率和深度。安庫提等人[ 10 ]描述了一種基於影象的半逆快速識別模糊區域的增強技術。安庫提和安庫提[12]引入了多尺度融合程式，通過定義適當的輸入和權重圖來恢復這種模糊影象。Choi等人最近擴充套件了該方法[ 20 ]。孟等人[ 21 ]提出了一種基於應用於傳輸地圖的新邊界約束的正則化方法。Fattal [ 13 ]提出了一種靈感來自彩色線條的方法，這是自然影象中的一種普遍規律。唐等人[ 16 ]描述了一個框架，該框架學習一組用於影象去霧特徵。
已經有幾次嘗試定量評估去霧方法。所有這些都被定義為非參考影象質量評估( NR-IQA )策略。Houtire等人[ 22 ]提出了一種基於模糊影象和恢復影象之間可見邊緣梯度的比值的盲測量。陳等人[ 23 ]介紹了不同增強演算法質量評估的一般框架，包括去霧方法。他們的評估基於對資料集的初步主觀評估，該資料集包含能見度不佳的源影象以及由不同增強演算法處理的增強影象。此外，一般非參考影象質量評估( NR - IQA )策略[ 24]、[ 25]、[ 26 ]還沒有設計和測試影象去霧。
然而，這些質量評估方法中沒有一種被普遍接受，因此，一套可靠的去霧問題資料集極其重要。與其他影象增強問題不同，去霧任務捕捉有效的真實影象並不容易。在相同照明條件下記錄參考影象(無霧度)和霧度影象的過程通常是難以處理的。專為高階駕駛員輔助系統( ADAS )設計的FRIDA資料集[ 27 ]是一個合成影象資料庫(計算機圖形生成的場景)。它包含66個道路合成場景，除了作為計算機生成的資料集降低了場景的一般性和複雜性之外，一些引數設定對於真實場景是無效的。
在本文中，我們引入了一個新的資料集，它可以定量評估現有的去霧技術。我們的資料集包含1400多幅真實複雜場景的影象。為了生成模糊影象，我們使用了擴充套件的Midderburry[1]資料集，該資料集包含高質量的真實場景和相應的深度圖。此外，我們使用最近的NYU - Depth V2[2]改進了資料集，這是一個大型資料集，包括各種室內場景，由微軟Kinect感測器捕獲RGB和深度圖。採用Koschmedier的光在霧霾場景中傳輸的物理模型[17]，假設均勻的大氣強度和均勻的霧霾密度，並使用資料集提供的參考深度圖，我們能夠在考慮的場景中合成霧霾。即使Koschmedier模型在任意光照和霧度密度條件下的嚴格有效性是有爭議的，基於該模型合成霧度影象也是相關的，因為它是所有現代去霧技術的核心。因此，當模型有效時，所有這些方法都應該提供良好的結果。然而，作為一項重要而令人驚訝的貢獻，我們的工作發現，即使對於完全符合模型的模糊影象，現有的去霧技術都無法從模糊版本中準確地重建原始影象。這一觀察來自於基於SSIM [ 28 ]和CIEED 2000 [ 29 ]計算的參考值(無霧度影象)和不同去霧技術產生的恢復結果之間的幾個先進去霧方法的綜合評估。

從深度到有霧場景

在這一部分中，我們首先描述了為有霧場景假設的光學模型，以及我們如何按照這個模型構建我們的有霧資料集。

有霧場景的光學模型

霧介質的特徵是當溼度高於某一水平時，相應溼度變化的小顆粒充當小液滴。在這種介質中，穿過它的光沿其原始路線衰減，並分佈到其他方向。從數學上來說，這一過程由Koschmedier模型[ 17 ]的影象形成模型來表示，該模型被最近所有的去霧方法廣泛接受。基於這個模型，由於大氣粒子吸收和散射光，只有一定比例的反射光到達觀察者。穿過霧介質的每個畫素座標x的光強I是兩個主要相加分量的結果——直接衰減D和大氣光值A :

其中J是透明介質的場景輻射(無霧度影象)，T是沿著視錐的透射，A∞是大氣光(一種顏色常數，在白天去霧時全域性計算)。
大氣光值與觀察者和場景目標物件之間的距離線性相關。模型的第一個分量，直接衰減D，描述了場景輻射是如何隨著距離衰減的。第二個，大氣光值A代表附加色移的主要來源，並表示為:

利用深度合成有霧場景

深度是供述3中的一個關鍵引數。一般來說，現有的資料集在解析度、真實性和深度地面真實性方面相對有限。為了克服這些限制，Scharstein等人[ 1 ]最近引入了一個新的資料集來評估立體演算法。資料集是使用結構化光[ 30 ]生成的。它代表了Midderbury資料集的延伸，包含了23幅室內場景影象( 600萬畫素)，具有亞畫素精確的深度地面真實性。
為了解決遮擋區域缺乏地面真實性的問題，我們對於Midderbury資料集的影象採用了Ma等人提出的加權中值濾波策略[ 31 ]。
此外，為了更全面的評估，我們還考慮了最近的NYU-Depth V2資料集[ 2 ]。這個資料集包括各種室內場景，由微軟Kinect感測器採集RGB和深度圖。缺失的深度值已經用Levin等人的彩色化方案填補了[ 32 ]。雖然這個資料集不如Middlebury資料集精確，但它具有更大的優勢( 1449，640×480個影象)，有各種場景。
基於上述光學模型，我們使用參考(無霧度)影象及其相應的深度圖合成霧度場景。首先，對於每個影象，使用深度d和介質衰減係數β，基於公式3估計透射圖預設設定為1，這對應於中等且均勻的霧度。此外，對於大氣光常數A∞，我們假設純白值[ 1 1 1 ]，並根據公式1和3生成有霧影象，如下所示:

評估技術

在本研究中，使用我們的新資料集D-HAZY，我們對幾種最先進的單影象去霧技術和一種眾所周知的增強方法進行了綜合驗證。對於所有經過測試的演算法，我們使用作者提供的原始實現。在下文中，我們簡要描述了這些技術。
1 .Tarel和Houtiere [ 8 ]
引入了第一種單一去霧影象方法。該方法基於過濾策略恢復模糊影象的可見性。他們假設白平衡是作為預處理步驟來執行的，並以影象的區域性平均值和影象的區域性標準差之間的差值的百分比來估計傳輸。基於中值濾波器的擴充套件版本對傳輸進行了改進。該方法的優點是可以快速處理彩色和灰度影象。
2 .He等人。[ 7 ]，[ 18 ]
提出了一個新穎的源自查維斯的黑暗物體[33]的黑暗通道先驗。他們研究了統計資料，在大多數不覆蓋天空的區域性區域，一些畫素通常在至少一個顏色通道中具有非常低的值。每個斑塊的這些濾波畫素用於估計由阿爾法摳圖策略細化的霧度透射。在我們的評估中，我們採用了基於導向濾波器[ 34 ]的暗通道。
3 .孟等人[ 21 ]
引入一種正則化策略，有效地探索傳輸地圖上的邊界約束。傳輸的邊界約束是[ 7 ]之前暗通道的延伸。通過使用邊界約束與基於加權L1範數的上下文正則化相結合的優化問題來細化傳輸。
4 .Ancuti和Ancuti [ 12 ]
描述了一種有效的多尺度融合策略，用於單影象去雜。他們得出兩個輸入，第一個輸入是通過對原始模糊影象進行白平衡來處理的，而第二個輸入是通過對每個畫素減去整個影象的平均亮度值來獲得的。通過計算多尺度融合策略中混合的幾個度量(權重圖)來過濾它們的重要特徵。
5 .Fattal [ 13 ]
介紹了一種探索顏色線的方法，小影象塊的畫素通常在RGB顏色空間中呈現一維分佈。通過計算從原點偏移的線來獲得傳輸圖的第一估計。最終的傳輸圖是基於Markov隨機場產生的，該隨機場細化了由於散射引起的噪聲和其他偽像。
6 .CLHE (對比度限制自適應直方圖均衡化) [ 35 ]
是一種眾所周知的增強技術，可以恢復影象的對比度。醫學影像設計的原版CLHE通過應用對比度限制程式擴充套件了自適應直方圖均衡化( AHE )。CLHE將影象分成上下文區域，並對每個區域採用直方圖均衡化。為了生成CLHE結果，我們使用了MatLab 2014 B的原始實現。

結果和討論

從質量上來說，正如預期的那樣，CLHE [ 35 ]產生了不那麼引人注目的視覺效果(見圖3 )。雖然Tarel和Hautiere [ 8 ]的方法具有計算效率高的優點，但是這種方法產生的結果看起來被暈圈假象過度飽和。在幾個感知測量的指導下，Ancuti和Ancuti [12]的方法減輕了由於多尺度融合策略而導致的結構偽影的引入。儘管有其歐洲主義的內在概念，He等人的方法[ 7 ]在顏色和結構修復方面似乎總體上比其他方法表現更好。然而，可以觀察到，這種方法在白色和灰色區域產生過度校正的結果，在這些區域中沒有顏色通道占主導地位。由於它也是建立在暗通道的基礎上的，所以孟等人的方法就不足為奇了。[ 21 ]得出了與He等人相似的結果。[ 7 ]由於傳輸圖的高階濾波，偽影略有減少。儘管對一些影象非常有效，Fattal [13]技術由於之前的顏色線，經常會使一些區域過度飽和，有時會在邊緣引入不愉快的結構偽像。

定量地說，為了驗證之前描述的不同技術，我們將它們的結果與D - HAZY資料集提供的地面真實無危險影象進行比較。由於PSNR已經被證明在預測人類對影象質量[ 28]的視覺響應方面不是非常有效，我們計算了眾所周知的結構相似度( SSIM )指數[ 36 ]，該指數比較了亮度和對比度標準化的畫素強度的區域性模式。SSIM索引產生介於- 1和1之間的十進位制值，兩個相同影象的最大值為1。
此外，因為在影象去霧中，顏色的恢復是至關重要的，並且不能由SSIM可靠地評估，所以我們採用了額外的評估指標。兩種顏色之間的差異是對顏色科學的高度興趣。雖然早期的措施(例如CIE 76和CIE 94 )顯示瞭解決感知一致性問題的重要侷限性，但是CIE引入了CIE 2000 [ 29]，[ 37 ]，這定義了一種更復雜但最精確的色差演算法。CIDEE 2000產生的值在[ 0，100 ]的範圍內，較小的值表示更好的顏色儲存，小於1的值對應於視覺上看不到的差異。
表一給出了23幅米德爾伯裡資料集影象的詳細驗證，表二顯示了在1449幅紐約大學深度影象上測得的SSIM和CIEED 2000的平均值。


從這些表格中，我們可以得出He等人的方法[ 7 ]平均表現最好。第二組方法包括Meng等人[ 21 ]/安庫提和安庫提·[ 12 ]和法塔爾·[ 13 ]在結構和顏色恢復方面表現相對較好。
一般來說，所有測試的方法都會引入結構失真，例如邊緣附近的暈圈偽像，這些失真會在遙遠的區域放大。此外，由於從模糊影象中對空運和傳輸地圖的估計較差，一些顏色失真可能會造成恢復影象的一些不自然的外觀。總之，沒有一種技術能為所有影象提供最佳效能。SSIM和CIEED 2000測量值相對較低，再次證明了單個影象去雜任務的難度，並且事實上仍有很大的改進空間。