1. 程式人生 > >自然影象摳圖的一種閉式解 (a closed-form solution to natual image matting)

自然影象摳圖的一種閉式解 (a closed-form solution to natual image matting)

摘要

互動式數字摳圖,基於有限的使用者輸入從影象中提取前景物體,是影象和視訊處理中非常重要的任務。從計算機視覺角度,這個任務非常具有挑戰性,因為它是一個病態問題,每個畫素上都必須估計前景和背景的顏色,還有單通道顏色的前景不透明度(alpha磨砂)。當前的方法將估計嚴格限制在影象的一小部分,基於已知畫素附近估計前景和背景顏色,或者用alpha估計反轉前景和背景顏色迭代執行非線性估計。

本文提供了自然影象摳圖閉合方案。我們從前景和背景顏色中推匯出一個代價函式,在得到的表示式中可以消除前景和背景顏色在alpha通道上得到一個二次代價函式。這使得我們可以解等式的一個稀疏線性系統找到全域性不透明alpha模糊。接著,對於閉合方程,分析稀疏矩陣的特徵向量可以估計方案的特徵,這與光譜影象風格演算法中的矩陣非常接近。只需要使用者非常少的輸入,就可以在自然影象上得到高質量的摳圖。

1  簡介

自然影象摳圖和合成,在影象和視訊編輯中是至關重要的。影象摳圖方法將影象I作為輸入,是前景影象F和背景影象B的組合。第i個畫素的顏色是對應前景顏色和背景顏色的組合:

其中αi是畫素前景不透明讀。在自然影象摳圖中,等式1中右邊所有量都是未知的。因此,對於一個3通道的彩色影象,每個畫素有3個等式7個未知數。

顯然,這是一個嚴重的欠約束問題,需要使用者互動獲得一個良好的摳圖。最近的方法都需要使用者提供一個成3的影象作為開始;一個例子如圖1(e)所示。成3地圖是一種硬性(通常是手繪)的分割,將影象分成3個區域:前景(白色),背景(黑色)和未知區域(灰色)。給定一個成3影象,這些方法通常要同時得到F,B和α。在實踐中,這意味著要想獲得一個好的結果,成3影象中的未知區域要儘可能地小。當然,成3影象方法通常很難處理畫素混合部分,或者當前景物體有很多洞的時候,如論文15。在這樣非常有挑戰的情況下,經驗和使用者互動對構建一個成3的影象非常有必要,可以生成一個好的摳圖。成3影象介面的另外一個問題是在影象上非常重要的部分使用者很難對摳圖產生影響:也就是畫素混合的地方。

圖1. (a)稀疏約束的影象:白色的筆刷是前景,黑色的筆刷是背景。在這樣的稀疏輸入影象中應用貝葉斯摳圖會生成一個完全錯誤的摳圖(b)。前景提取演算法,如論文9,11,生成一個比較硬的分割(c)。從一個比較硬性的分割中自動生成的圖片可能會丟掉精細的特徵(d)。一個精確的手繪影象(e)會生成比較合理的摳圖(f)。(圖片來源於論文15)

本文提供了一種新的閉合形式方案用於從自然影象中提取alpha摳圖。從前景和背景顏色F和B上的區域性平滑中得到一個代價函式,從結果的表示式來看,可以消除F和B,生成一個α的二次代價函式。這種方法生成的alpha摳圖是這個代價函式的全域性最優,可以通過解稀疏線性方程組得到。既然,只需要直接計算α,而不需要估計F和B,也就需要很少的使用者輸入(比如一組稀疏的筆刷),足以提取高質量的摳圖。然後,閉合形式公式可以通過檢驗稀疏矩陣的特徵向量理解和預測方案的特徵,和光譜影象分割中的矩陣非常相近。為了給這個方法提供強有力的理論基礎,這些分析在應該往哪裡放筆刷時給使用者提供了非常有用的提示。

1.1  之前的工作

大部分現有自然影象摳圖方法都要求輸入影象處理成成3圖片,將每個畫素標記成前景,背景或未知。這些方法的目標就是要解組成方程組等式1的未知畫素。這通常都是使用F和B的區域性正則化,估計未知區域每個畫素的值來處理。論文2 Corel KnockOut演算法中,假設F和B是光滑的,基於已知前景和背景畫素的加權平均進行估計(越近的畫素權重越高)。有的演算法,論文5和12,假設區域性前景和背景服從一個相對簡單的色彩分佈。可能大部分成功的演算法是貝葉斯摳圖演算法,如論文5,方向高斯分佈的組合可以得到區域性分佈,估計合適的α,F和B得到這個分佈。當前景和背景色彩分佈不重疊,成3地圖中的未知區域非常小的時候,這個方法非常好。圖1(b)中所示,一組稀疏的約束可能會生成一個完全錯誤的摳圖。相反,我們的方法使用F和B的特定平滑,不需要估計這些函式的值,直到磨砂部分被提取之後。

論文14的泊松摳圖方法,也需要成3地圖作為輸入的一部分,用磨砂梯度場和Dirichlet邊界求解泊松方程 計算混合區域的alpha磨砂。在全域性泊松摳圖方法中,磨砂梯度場用▽I/(F-B)近似估計,使用了等式1的梯度,忽略了F和B中的梯度。這樣就可以找到磨砂,通過解一個方程就可以了,它的梯度與估計的磨砂梯度場非常相近。只要未知區域不足夠平滑,生成的磨砂可能就不正確,另外,在磨砂梯度場應用互動式的區域性操作以獲得滿意的方案。這種互動式的優化過程就是區域性泊松摳圖。應該可以看到,我們的方法在F和B上的要求更弱,但可以生成更精確的磨砂。

最近,提出了幾種從背景中提取全景物體的成功方法,如論文3,9和11所示。兩種方法都將簡單的使用者指定約束(比如,筆刷或者矩形)轉換成最小分割問題。解決最小分割紋理生成一個硬性二值分割,而不是一個微弱的alpha磨砂(如圖1(c))。硬性分割可以通過侵蝕轉換成一個成3圖片,但這可能還是會丟失一些細微的或模糊的特徵,如圖1(d)所示。儘管在硬邊界附近的窄帶上擬合一個引數化alpha特徵進行邊界摳圖,但這更像是羽化而不是全alpha摳圖,更寬的模糊區域是無法用這種方式來處理的。

我們的方法和論文7的彩色化方法,論文6的隨機遊走alpha摳圖方法,非常相似。這兩種方法最小化二次代價函式傳遞筆刷約束。這裡我們採用了相似的策略,但我們的假設和代價函式進行了修改,以更好的適應摳圖問題。

另一個基於筆刷介面的互動式摳圖是論文15提出的。從表示少量背景和前景畫素的筆刷開始,他們使用簡單傳遞迭代地估計影象畫素中的未知數。這個方法得到的結果令人印象深刻,但在使用非線性優化過程時,還是有缺點的,它可能會收斂到一個不同的區域性最小值。

2  推導

 為了更清楚地分析,先推導一個灰度影象的alpha摳圖閉合形式方案。這個方案在2.1節會擴充套件到彩色影象中。

如之前提到的,摳圖問題是一個嚴重的欠約束問題。因此,對F,B和/或α的假設是必要的。為了推導灰度圖方案,我們假設F和B是每個畫素附近小視窗上的近似常量。注意假設F和B區域性平滑,並不意味著輸入影象I是區域性平滑的,α不連續意味著I不連續。這個假設,在2.1節會被放寬,這樣就可以重寫等式1,將α表示成影象I的線性函式:

其中和w是小的影象視窗。這個線性鬆弛與之前論文17中所用的比較相似。我們的目標是找到α,a和b,最小化代價函式

其中wj是畫素j附近的小視窗。

上面的代價函式包括a的一個正則化項。新增這個項的一個理由是數值穩定性。比如,如果影象是第j個視窗上的常量,沒有先驗資訊,aj和bj並不能唯一確定。還有,最小化偏差的範數,方案會變成更平滑的α磨砂(aj=0意味著α是第j個視窗上的常量)。

在實現過程中,通常會使用3×3畫素的視窗。在每個畫素周圍放一個視窗,等式3中的視窗wj會重疊在一起。這種屬性使得相鄰畫素間的資訊重疊。代價函式是α,a和b的二次函式,對一個有N個畫素的影象,有3N個未知數。幸運的是,如下所示,a和b可以從等式3中消除,剩下只有N個未知數的二次代價函式:畫素的alpha值。

定理 1

定義J(α)為:

那麼

其中L是一個N×N的矩陣,它的第(i,j)元素是:

這裡δij是克羅內克δ函式,μk和是k附近視窗wk的亮度的均值和方差,|wk|是視窗中畫素的數量。

*********************************************************************************************

這裡的推導公式有點跳,但下面的證明有文字說明,從3式開始,如何用矩陣形式重寫等式3:

         

*********************************************************************************************


證明:用矩陣形式重寫等式(3),可以得到

對於每個視窗wk,Gk定義為一個(|wk|+1)×2的矩陣。對於每個i∈wk,Gk包含了一排   [Ii,1],Gk的最後一排是。對於一個給定的磨砂α,可以定義是一個(|wk|+1)×1的向量,對於每一個i∈wk,定義為αi,它最後一個元素是0。和Gk中的元素都是順序對應的。

對於一個給定的磨砂α,每個視窗wk中的最優對是最小二乘問題的最優解:

將這個解代入等式6中,將Gk表示為

我們得到

更多的線性代數計算,的第(i,j)個元素可以表示為:

對k求和,可以得到等式5。

2.1  彩色影象

一個簡單的方法將代價函式應用到彩色影象中,就是在單獨在每個通道中應用灰度代價函式。我們還可以用一個4D線性模型取代等式2的線性模型:

這種合併線性模型的一個好處是它放寬了之前的假設,即每個視窗上的F和B是常數。其實,這已經足夠了,在一個小視窗上,F和B是兩種顏色通道的線性混合;也就是說,小視窗中Fi的值在RGB顏色空間中的某條直線上:,對背景來說Bi的值也是這樣的。在本文剩下的部分,我們稱這種假設為顏色線性模型

這個模型非常有用,比如,具有恆定漫反射的表面上的陰影變化。另外一個例子是,視窗包含了同屬於前景和背景的兩個統一的顏色區域之間的邊緣。還有就是,論文10展示了在很多自然影象中RGB空間中的畫素顏色往往形成一個相對少量的細長簇。儘管這些簇不是直線,但它們的輪廓基本上是區域性線性的。

定理 2

如果視窗中前景和背景顏色滿足顏色直線模型,有表示式:

 

證明:用線性組合

替換等式1,其中F1,F2,B1,B2是小視窗上的常量,可以得到:


************************************************************

將B2移到等式左邊,寫成矩陣相乘的形式:

**************************************************************

設H是一個3×3的矩陣,它的第c排是。那麼,上式就可以寫為:

其中,Ii和B2是3×1的向量,表示3個彩色通道。將H-1的第一行的元素記為a1,a2,a3,將H-1的第一行的向量B2作標量乘法,乘以b。得到αi=Σc ac Ii+b。

使用等式9的4D線性模型,可以定義RGB影象的摳圖代價函式為:

與灰度圖情況類似,代價函式中的和b可以消掉,生成關於未知數α的二次代價函式:

這裡L是一個N×N的矩陣,它的第(i,j)個元素是:

其中,Σk是一個3×3的協方差矩陣,μk是一個3×1的視窗wk的顏色均值向量,I3是一個3×3的識別矩陣。

我們將等式5和12中的矩陣L稱為拉普拉斯摳圖矩陣。注意,L每行元素的和為0,因此L的零核空間包含了常數向量。如果 ε=0,L的零核空間也就包含了I的每個顏色通道。

除了數學上的理由,我們的代價函式的直觀理解為matte可以區域性表示為影象各顏色通道的線性組合,如下圖中3個代表性例項所示。 第一個例子的視窗包含十分一致的前景、背景顏色。在這個例子中,alpha matte和原始影象有很強的標準化相關性,它可以由一個顏色通道值乘以一個係數再加上一個常數形成。在第二個例子中,alpha matte在整個視窗中是一個常值。在不考慮視窗中影象紋理的複雜性的情況下,這個常值alpha可以由原始影象的各個顏色通道值乘以0再加上一個常數形成。這個小例子很重要,它顯示了一些4D線性模型的優點。在影象的絕大部分視窗中,一般matte值是常值的(0或1),在這種視窗中的matte可以表示為影象的線性函式,而不需要考慮確切顏色分佈以及顏色線性模型是否支援。最後,我們展示了一個不為常值的視窗,這個視窗中實際包含了一個邊。在不同顏色通道的邊界對比度是不同的,通過每個顏色通道值的縮放,我們的模型其實是可以消除背景邊的。

  

3  約束和使用者介面

在我們的系統中,使用者施加的約束通過筆刷GUI提供。使用者使用背景筆刷(黑色筆刷)指示背景畫素(α=0),前景筆刷(白色筆刷)指示前景畫素(α=1)。

為了提取alpha磨砂匹配使用者筆刷,我們解如下方程

其中,S是筆刷畫素集,si是筆刷所指的值。

定理 3

I是等式1中前景和背景形成的影象,α*是真實的alpha磨損。如果每個區域性視窗wk中F和B滿足顏色直線模型,如果使用者指定的約束S與α*是一致的,那麼α*是等式13的一個最優解,其中L構建時ε=0。

證明:既然ε=0,如果每個視窗wk滿足顏色直線模型,它就滿足等式10 的定義J(α*,a,b)=0,因此,J(α*)=α*TLα*=0。


圖2. 摳圖例子。(a,c)帶有筆刷的輸入影象。(b,d)提取的磨砂圖層。

我們在圖2中演示了這些論述。圖2(a)第一個影象是一個合成的影象,計算機在一個簡單的背景和幾個顏色波段上模擬(單色)合成的,滿足顏色線性模型。黑白筆刷是輸入約束。我們的方法提取的磨砂圖層(如圖2(b))與基準磨砂完全一致。第二個例子(影象2(c))是一個真實的影象,前景和背景顏色融合在一起。只刷了黑白兩個點,就可以提取高質量的磨砂圖層(如圖2(d))。

4  光譜分析

拉普拉斯摳圖矩陣L是一個正定對稱矩陣,如定理1和其證明所示。這個矩陣也可以寫為L=D-W,其中D是一個對角矩陣D(i,j)=Σj W(i,j),W是一個對稱矩陣,它的非對 角元素由等式12定義。因此,矩陣L是光譜分割中的摳圖拉普拉斯矩陣,等式12提供了一種新型的親和函式。為了方便對比,定義親和函式的典型方法(比如論文13中的歸一化切割影象分割演算法)是設定:


其中σ是一個全域性常量(通常是手動選擇的)。這個相似函式對相近顏色附近的畫素比較大,當顏色差遠大於σ時,接近於0。論文6的隨機遊走摳圖演算法使用了一個類似的親和函式用於摳圖問題,但是兩個畫素之間的顏色距離在顏色線性變換後取值。這個變換依賴於影象,用流形學習技術進行估計。

相反,重寫拉普拉斯摳圖矩陣L=D-W,可以得到如下親和函式,可以稱其為摳圖親和函式

為了獲得摳圖親和函式的直觀感受,考慮一個包含了兩種顏色(比如,一個理想的邊緣)的影象區域。在這個例子中,相同顏色的兩個畫素間的親和函式的值隨著距離的增大而減少,不同顏色的畫素間的親和值為0。通常,標準的親和函式也是類似的狀況:相似顏色的畫素之間的親和值比較高,不同顏色畫素之間的親和值比較小。但是,需要注意的是摳圖親和函式並沒有一個全域性縮放參數σ,而是使用的均值和方差的區域性估計。後面會講到,這種適應性的特點會在效能上有非常顯著的提升。論文16中也有相似的情況,也是採用了局部引數縮放提升了影象分割的結果。

為了比較兩個親和函式,它們對應的拉普拉斯最小特徵向量,因為這些特徵向量在光譜分割演算法中用於風格影象。

 圖3:不同拉普拉斯的最小特徵向量

圖3展示了兩個樣例影象的拉普拉斯矩陣的第二小的特徵向量(最小的特徵向量在兩個案例中都是常量影象)。第一個例子是一個有不同顏色同心圓的簡單影象。在這個例子中,區域的邊界非常簡單,兩個拉普拉斯都正確地捕捉了顏色變換。第二個例子是一個孔雀影象。全域性σ特徵向量(歸一化分割演算法所使用的)不乏捕捉孔雀尾巴羽毛和背景之間的複雜模糊的邊界。相反,拉普拉斯摳圖特徵向量很好地將孔雀從背景中分離出來。這個例子中的拉普拉斯摳圖是用ε=0.0001計算的。

4.1  特徵向量作為引導

 如果沒有使用者輸入,這個摳圖問題是一個病態問題,摳圖拉普拉斯矩陣包含了影象上的很多資訊,甚至在提供任何筆刷之前,如之前的章節所描述的那樣。

也就是說觀測最小的摳圖拉普拉斯矩陣的特徵向量可以引導使用者在哪裡畫筆刷。比如,提取的磨砂往往在相同的區域內是分段常數,最小的特徵向量是分段常數。如果特徵向量影象中的一個分割槽的值是連貫的,在這個分割槽中的筆刷足以將這個希望的值傳遞到整個分割槽中。另外一方面,影象上特徵向量的值較少連貫的困難區域中,建議多做一些筆刷。

更確切地說,alpha磨砂可以通過檢查拉普拉斯摳圖矩陣的最小特徵向量來確認,因為等式13的最優解是更小的特徵向量生成儘可能大的區域。事實上,可以限制權重,最優解會分配更大的特徵向量,作為對應特徵值的比值的函式。

圖4.最小的特徵向量(a-b)用於引導筆刷放置(c)。生成的磨砂圖層如(d)所示。

圖4顯示了一個畫筆刷的過程如何被特徵向量引導的過程。通過檢查最小的兩個特徵向量(圖4(a-b)),在每個連續特徵向量值(圖4c)內放置筆刷。生成的磨砂如圖4d所示。注意圖4c中的筆刷是第一次嘗試放置筆刷。

5  結果

這裡演示了通過受筆刷約束的拉普拉斯摳圖矩陣最小化方法,用閉合形式方案提取alpha磨砂圖層。既然拉普拉斯摳圖矩陣是alpha上的二次函式,最小值可以通過解一個稀疏線性方程組得到。通常用3×3的視窗定義拉普拉斯摳圖矩陣。當前景和背景的顏色分佈不是很複雜時,用更寬的視窗時有幫助的。然而,生成的系統更稠密,用更寬的視窗會增加計算時間。為了克服這個問題裡,採用與影象的alpha磨砂通道的線性係數(等式9)。用一個較寬的視窗在一個更精細的解析度上得到的係數與從一個粗糙的影象上一個較小的視窗中獲得相似。因此,可以用一個粗糙影象上的3×3的視窗解得alpha磨砂通道,計算粗糙影象的線性係數。可以對線性係數插值,將其應用在一個更精細的解析度影象上。用這個方法獲得的alpha磨砂通道與用更寬的視窗在更精細的影象上直接求解摳圖系統時相似的。更詳細的內容如論文8所示。【參考文獻的論文8是本文的TechnicalReport】

本文演示的結果是直接在matlab裡面解決摳圖系統的(“blackslash”運算子),在一個2.8GHz的處理器上處理200×300的影象用了20秒。用matlab處理大圖,由於記憶體的限制,基本不可能。為了克服這個問題,可以使用一個由粗到細的演算法。對影象和筆刷降取樣,在一個更低的解析度上處理。重構的alpha通道可以插值成更高的解析度,alpha值是閾值,alpha值接近0或1的畫素作為更精細解析度的約束。約束畫素可以從系統中消除,減少系統的規模。也可以用多網格處理來做磨砂提取。多網格處理處理非常大的影象只需要幾秒,但磨砂質量會有所下降。

這裡只演示了提取alpha磨砂。注意,如果分解背景,需要解決F。找到磨砂後,可以從等式10中直接得到ac和b的係數,從它們中提取前景和背景。然而,我們發現前景和背景的更好估計可以從解決一組F和B的新的線性方程組得到,通過引入F和B的一些明確的光滑先驗資訊到等式1中得到。前景重建和組成結果的更多資訊可以在論文8中找到。

圖5. 不同演算法提取的alpha磨砂圖層的對比。影象(a,c,e,g,i,k,m,o)從論文15中提取的。剩下的影象是用各種方法生成的。

圖5顯示了用我們的方法從論文15中兩個比較有挑戰的影象提取的磨砂圖層,與其他幾種演算法比較了結果。可以看到,在這些案例中,我們的演算法是有競爭力的,即使我們使用了一種非常簡單的演算法。全域性泊松摳圖無法從稀疏的筆刷中提取高質量的磨砂圖層,儘管它在一個成3地圖中效能非常好。論文6的隨機遊走摳圖也是最小化拉普拉斯矩陣,但使用了一個全域性縮放參數的親和函式,因此在孔雀影象中非常困難。

圖6. 用兩個基準磨砂圖層進行定量比較。i和j中的誤差作為背景平均梯度強度的函式繪製的,分成10個條形圖。為了生成各個方法的執行結果,使用了原論文中指定的引數值。

為了獲得這些演算法的定量比較,我們用帶有比較基準的合成影象做了實驗。我們隨機地從圖6(h)中提取了2000幅子影象。我們用每個子圖作為背景,用兩個不同的alpha磨砂圖層組成一個統一的前景影象:第一個磨砂圖層是一個計算機模擬的煙的影象,影象的大部分都是透明的;另外一個磨砂圖層是一個圓圈的一部分,大部分不透明的部分都是羽化邊界。磨砂圖層如圖6c所示。接著,我們得到了4000個成分影象,其中兩個如圖6a所示。在這組影象中,我們比較了4中摳圖演算法的效能,Wang和cohen,全域性泊松摳圖,隨機遊走摳圖和我們的方法(用不帶金字塔的3×3的視窗)。所有的演算法都提供了一個成3地圖作為輸入。成3地圖和不同方法生成的結果的例子如圖6 a,d-g所示。對每個演算法,我們都計算了提取的磨砂圖層和基準圖層的絕對平方誤差和。圖6 i,j 繪製了4種作為背景平滑函式的演算法的平均誤差(我們測量了平均梯度強度,分到10個條形圖中)。煙霧磨砂圖層的誤差繪製在圖6i中,圓圈磨砂圖層的誤差繪製在圖6j中。如果背景平滑,所有的演算法在兩個磨砂圖層上效能都比較好。當背景包含比較強的梯度時,全域性泊松摳圖效能比較差(它假設背景和前景的梯度是可以忽略的)。剩下的演算法中,我們的演算法得到最精確的結果。

圖7 . 論文15中的一個前景和背景之間的顏色模糊的例子。(a)論文15 的筆刷和磨砂圖層;(b)論文15中用成3地圖生成的結果;(c)我們用於a相似的筆刷生成的結果;(d)我們的方法用更多的筆刷生成的結果。

圖7 展示了論文15中的例子,由於前景和背景的顏色模糊,Wang和Cohen的方法無法從筆刷中提取比較好的磨砂圖層。相同的方法,應用成3地圖時,可以生成一個可接受的磨砂圖層。我們的方法生成一個更乾淨,但從相同的筆刷中也不是很完美的磨砂圖層,但添加了一些筆刷後生成更好的磨砂圖層。

圖8. F和B之間顏色模糊的一個案例

圖8顯示了另一個例子(論文14中的Koala影象的一個特寫鏡頭),前景和背景顏色是模糊的。在這個例子中,我們的方法生成的磨砂圖層明顯好於Wang-Cohen方法生成的圖層。為了更好地理解為什麼是這樣的,用RGB直方圖表示F和B筆刷中的畫素。背景中有些畫素可以更好地匹配前景顏色模型,勝過背景(這樣的畫素在圖8b中標為紅色,在圖8d中用箭頭指示)。最後,這樣的畫素在第一階段在高不確定情況下被分為前景。一旦做了這個錯誤,只在那個畫素附近加強進一步錯誤的決定,在磨砂圖層上生成一個白色叢。

我們的方法並沒有使用F和B的全域性顏色模型,它就可以處理圖8那樣的模糊狀況。然而,也有一些例子,我們的方法出於同樣的原因而無法生成精確的磨砂圖層。圖9顯示了兩種顏色背景下的一個女演員。甚至儘管黑色B筆刷涵蓋了兩種顏色,生存的磨砂圖層還是含有部分背景(在左邊頭髮和肩膀之間)。在這樣的例子中,使用者必須在這個區域新增另外的B筆刷。

圖9. 由於缺少顏色模型而失效。

6  討論

摳圖和組合是影象和視訊編輯中最重要的任務,給計算機視覺帶來了巨大挑戰。這個過程定義要求使用者互動,大部分現有演算法的效能隨著使用者輸入的減少而迅速惡化。本文,基於前景和背景顏色平滑變化,我們引入了一個代價函式,演示瞭如何消除前景和背景顏色獲得一個alpha上的二次代價函式。生成的代價函式與影象分割光譜方法中得到的代價函式非常相似,從摳圖問題的公式中推導親和函式。代價函式的全域性最小化可以通過解一組稀疏線性等式找到。實驗表明,在真實和合成影象上,我們的演算法明顯優於沒有從摳圖等式中推導二次代價函式的那些演算法。實驗結果還表明,我們的結果比那些更復雜、非線性的代價函式中得到的結果更有競爭力。然而,與之前非線性方法對比,可以在很短的時間內得到方案,我們證明了我們方法的特點,通過分析運運算元的特徵向量,給使用者提供了指導。

我們的方法假設前景和背景顏色平滑,但沒有要求每個分割槽的全域性顏色分佈。實驗表明,區域性平滑要求對自然影象更有用。然而,可以將我們的公式擴充套件到兩個分割槽上包含更多的假設和要求(比如,全域性模型,區域性紋理模型,等等)。目標是整合進更復雜的模型,前景和背景更復雜的那種,用簡單的數值線性代數獲得更高質量的結果。

公式推導過程參考:

Soft Matting 中所使用 Matting Laplacian Matrix 元素通項的推導

http://www.aiuxian.com/article/p-1153890.html

A closed form solution to natural image matting。《Computer Vision for Visual Effects》講解筆記。

http://blog.csdn.net/d_nel/article/details/44133197