基於暗通道優先的單幅影象去霧
Single Image Haze Removoal Using Dark Channel Prior
何凱明(Kaiming He), Jian Sun, Xiaoou Tang
摘要 本文中，提出一個簡單但是有效影象優先-暗通道優先從單個輸入影象中去霧。暗通道優先是一種無霧室外影象的統計。基於一個關鍵觀察——在無霧室外影象中的大多數區域性斑塊包含一些在至少一個顏色通道中具有非常低強度的畫素。使用霧影象模型的優先，我們可以直接估計霧的厚度，並恢復高質量的無霧影象。各種室外霧影象的結果證明提出的優先的有效性。此外，還可以獲得高質量深度圖作為去霧的副產物。
1 Introduction
室外場景的影象通常會被大氣中的混濁介質（例如，顆粒，水滴）。由於大氣吸收和散射，霾、霧和煙是這種現象。攝像機從場景點接收的輻射度沿著視線衰減。此外，入射光和空氣混合（環境光被大氣顆粒反射到視線中）。降級的影象會失去對比度和色彩保真度，如圖1（a）所示。由於散射量取決於場景點距離相機的距離，因此降級是空間變化的。
在消費者/計算機攝影和計算機視覺應用中非常需要去霧。首先，去霧可以明顯增加場景的可見度，並校正由空氣引起的色移。通常，無霧影象在視覺上更令人愉悅。其次，大多數計算機視覺演算法，從低階影象分析到高階物體識別，通常假設輸入影象（在輻射校準之後）是場景輻射。視覺演算法（例如，特徵檢測、過濾和光度分析）的效能將不可避免地受到偏置和低對比度場景輻射的影響。最後，去霧可以產生深度資訊，並有益於許多視覺演算法和高階影象編輯。霾或者霧可以是場景理解的有用深度線索。可以充分不良霧影象。
然而，去霧是一個具有挑戰性的問題，因為霧取決於未知的深度資訊。如果輸入僅是單個霧影象，則問題不足。因此，已經通過多個影象或附加資訊提出許多方法。基於偏振的方法通過不同偏振拍攝的兩個或更多影象來去霧。在不同天氣條件下，從同一場景的多個影象獲得更多約束。基於深度的方法需要來自使用者輸入或來自已知3D模型的粗略深度資訊。
最近，單影象去霧取得了重大發展。這些方法的成功依賴於使用更強的先驗或假設。與輸入霧影象相比，無霧影象必須具有更高的對比度，並且通過最大化恢復影象的區域性對比度來消除霧。結果在視覺上引人注目，但在物理上無效。在假設傳輸和表面陰影佈局不相關的情況下，估計場景的反射率，然後推斷中等傳輸。方法在物理上是合理的，可以產生令人深刻的結果。然而，這種方法不能很好的處理重度霧影象，並且在假設被破壞的情況下可能會失敗。
本文中，提出一種新的暗通道優先的方法，用於單個圖片去霧。暗通道優先基於無霧室外影象的統計。我們發現在大多數不覆蓋天空的區域性區域中，通常一些畫素（稱為“暗畫素”）在至少一種顏色（rgb）通道中具有非常低的強度。在霧影象中，通道中的這些畫素的強度主要由空氣學貢獻。因此，這些暗畫素可以直接提供霧度的準確估計。結合霧影象模型和軟消光插值方法（soft matting interpolation method），我們可以恢復高質量的無霧影象，並生成良好的深度圖（達到一定比例）。
我們的方法在物理上是有效的，即使在重霧影象中能夠處理遠處的物體。不依賴輸入影象中的透射或表面的顯著差異。結果包含很少光環偽影。
與使用強假設的任何方法一樣，我們的方法也有其自身的侷限性。當場景目標固有相似與大部分割槽域的空氣，並且沒有陰影投射在目標上時，暗通道優先可能是無效的。雖然我們的方法適用於大多數霧的室外影象，但在某些極端情況下可能失敗。我們相信從不同方向研究新穎的技術非常重要，將它們結合在一起會進一步推動現有技術發展。
2 Background
在計算機視覺和計算機影象學中，廣泛用於描述霧影象形成的模型如下：
其中I是觀察強度，J是場景輻射，A是全域性大氣光，t是描述未散射並達到相機的光部分的介質傳輸。去霧目的是從I中恢復J、A和 t 。
公式（1）右邊的第一項J(x)t(x)為直接衰減，第二項A(1-t(x))為空氣。直接衰減描述了場景輻射及其介質中的衰減，然而氣流由先前散發的光產生並導致場景顏色的偏移。當大氣是均勻時，轉換 t 可以表示為：
其中β是大氣的散射係數。它表示場景輻射隨場景深度 d 呈指數衰減。
幾何上，霧影象公式（1）意味著在RGB顏色空間中，向量A、I和J(x)是共面的並且它們的端點是共線的（參考圖2（a））。傳輸 t
其中 c ∈ {r, g, b}是顏色通道索引。
基於該模型，Tan的方法側重於增強影象的可見性。對於具有均勻透射率 t 的貼片，由於t<1，輸入影象的可見度（梯度之和）因霧度而降低：
通過最大化貼片的可見度，並滿足J(x)的強度小於A的強度的約束，來估計貼片中的透射率 t。MRF模型用於進一步規範結果。這種方法能夠從霧影象中揭示細節和結構。然而，輸出影象傾向於具有較大的飽和度值，因為這種僅關注於可見性的增強，並不打算物理地恢復場景輻射。此外，結果可能包含深度不連續附近的光暈效果。
Fattal提出了一種基於獨立分量分析（ICA）的方法。首先，設區域性斑塊的反射率為常數向量R。因此，貼片中所有J(x)具有相同方向R，如圖2（b）所示。其次，通過假設表面陰影 ||J(x)|| 和和投射 t(x)的統計在貼片中是獨立的，可以通過ICA估計R的方向。最後，應用由輸入彩色影象引導的MRF模型將解決方案外推到整個影象。這種方法是基於物理的，可以產生一個自然的無霧影象和良好的深度圖。但是，由於這種方法基於區域性貼片中的統計獨立假設，因此需要獨立元件顯著變化。任何缺乏變化或低信噪比（例如，在密集的霧區域中）使統計資料不靠譜。此外，由於統計資料基於顏色資訊，因此對灰度影象無效，並且很難處理通常無色且易於產生噪聲的濃霧。
在下一節中，提出一個新的暗通道優先，直接從霧室外影象估計傳輸。
3 Dark Channel Prior
暗通道優先基於以下對無霧室外影象的觀察：在大多數非天空斑塊中，至少一個顏色通道在一些畫素具有非常低的強度。換句話說，這種貼片的最小強度應該具有非常低的值。形式上，對於影象J，我們定義：
其中Jc是J的顏色通道，Ω(x)是以x為中心的區域性貼片。觀察結果表明，除了天空區域，Jdark的強度很低，並且如果J是一個無霧室外影象，則趨向0。我們將Jdark稱為J的暗通道（dark channel），我們將上述稱為暗通道優先（dark channel prior）。
暗通道的低強度主要由於三個因素：a）陰影。例如，城市景觀影象中的汽車、建築物和窗戶內部的陰影，或景觀影象中樹葉、樹木和岩石的陰影；b）彩色物體或表面。任何顏色通道中缺少顏色的任何物體（例如，綠草/樹木/植物，紅色或黃色花/葉和藍色水面）將導致暗通道中的低值；c）深色物體或表面。例如，深色的樹幹和石頭。由於自然室外影象通常充滿陰影和色彩，這些影象的暗通道十分的暗。
為了驗證暗通道之前多好，我們從flickr.com收集室外影象集，並通過flickr使用者150最流行的標籤搜尋幾個其它搜尋引擎。由於霧通常發生在室外景觀和城市景觀中，我們從下載影象中手動挑選出無霧陸地景觀和城市景觀。其中，隨機選擇5000張圖片並手動剪裁出天空區域。調整大小，使寬度和高度的最大值為500畫素，並使用15x15大小的色塊計算它們的暗通道。圖3顯示了幾個室外影象和響應的暗通道。
