分割是處理影象資料前最重要的步驟之一，其主要目標是將影象劃分為與其中含有的真實世界的物體或區域強相關性的組成部分。

分割方法根據所使用的主要特徵可劃分為三組：第一組是有關影象或部分的全域性知識（global knowledge），這一般由影象特徵的直方圖來表達。第二部分是基於邊緣的（edge-based）分割，而第三組是基於區域（region-based）分割，在邊緣檢測或區域增長中可以使用多種不同的特徵，例如，亮度、紋理、速度場等。

6.1 閾值化

當存在物體和背景的灰度變化，這種變化可能是由非均勻照明、非一致的輸入裝置引數或其他一些因素造成的。在這種情況下，使用變化的閾值——自適應閾值化（adaptive thresholding）

一種選擇是將影象劃分為子影象，在每個子影象中獨立地確定一個閾值；此時，如果某些子影象中不能確定閾值，可以根據其相鄰子影象插值得到。然後每個子影象依據區域性閾值來處理。

6.1.1 閾值檢測方法

閾值檢測方法是基於直方圖形狀分析的。當直方圖是二模態，即只有兩個峰時，閾值應該滿足最小分割錯誤的要求——直覺地取在兩個極大值之間的具有最小直方圖數值的那個灰度值作為閾值。當直方圖是多模態的，在任意兩個極大值之間的極小值處可以取得較多閾值；每個閾值會給出不同的分割結果，如下式所示：

要確定直方圖是二模態還是多模態並不簡單，要確定直方圖區域性極大值是否顯著通常是不可能的。一半白的一半黑的兩部分影象和一幅隨機分佈著白和黑畫素的影象（即一幅胡椒鹽噪聲影象）具有相同的直方圖。

建立一個具有較好峰谷比率的直方圖。一種選擇是給直方圖貢獻加權，抑制具有高影象梯度的畫素的影響。也就是說，直方圖主要由物體和背景的灰度值組成，而邊界的灰度（具有較高梯度）沒有貢獻，使得確定閾值變得較容易。另一種類似的方法只用高梯度畫素形成灰度直方圖，意味著直方圖主要由邊界的灰度組成且應該是單模態，其峰對應於物體和背景間的灰度。分割閾值可以確定為峰值處的灰度值，或峰值處一部分的均值。

6.1.2 最優閾值化

最優閾值化（optimal thresholding）尋求將影象的直方圖用兩個或更多個正態分佈的概率密度函式的加權和來構建。閾值取為離這些正態分佈最大值之間的最小概率處最近的灰度值，其結果是具有最小錯誤的分割（被錯誤分割的畫素數目最小）。難點在於估計正態分佈引數以及這些分佈被當作正態分佈所具有的不確定性。如果按照使物體和背景間的灰度變化最大化來選擇最優閾值，就可以克服這些難點。

Otsu演算法是流行的一種自動閾值檢測的方法。其背後的思想是測試每一個可能的閾值，然後計算前景和背景的灰度級方差。當這些方差的加權和最小時，我們可以推導得到這個閾值在某種”最佳“的意義上分離了直方圖，因為背景和前景的分佈都達到了”最緊緻“狀態。對於正在考察的閾值，這些權重與畫素來自於前景和背景的概率有關。

6.1.3 多光譜閾值化

彩色影象通常由紅、藍、綠譜段呈現；多光譜遙感影象或氣象衛星影象通常具有更多的譜段。一種分割方法在每個譜段中獨立地確定閾值，然後綜合起來形成單一的分割影象。

多光譜分割通常是基於每個畫素或其小鄰域中對應於n譜段的n維灰度向量進行的。這種分割方法在遙感中應用得很廣泛，它是將分類處理應用於n維向量的結果。一般來說，區域是由在所有譜段具有相似性質的畫素構成的，具有相似的n維描述向量。

6.2 基於邊緣的分割

基於邊緣分割的最常見的問題是在沒有邊界的地方出現了邊緣以及在實際存在邊界的地方沒有出現邊緣，這是由影象噪聲或影象中的不適合的資訊造成的。顯然這些情況對分割結果有負面影響。

6.2.1 邊緣影象閾值化

簡單檢測子的一個問題是變粗。如果邊緣帶有方向資訊（比如Sobel），可以通過施加某種形式的非最大抑制來抑制單個邊界領域內的多個響應，以實現部分矯正。

6.2.2 邊緣鬆弛法

鬆弛法是一種用於改進某種屬性估計的方法，它主要利用了該屬性值在一箇中間領域的估計值。與之有關的地方包括區域標註，從X到形狀，以及光流。

6.2.3 邊界跟蹤（這部分沒有看懂）

擴充套件（extended）邊界提供了較內邊界和外邊界更好的邊界性質；擴充套件邊界的主要優點是它們定義了相鄰區域的單一的共同邊界，可以用標準的畫素座標來標識。

6.2.4 作為圖搜尋的邊緣跟蹤（這部分沒有看懂）

圖搜尋A-演算法

解決死迴圈問題的簡單方法是不允許反向搜尋。

將影象資料拉直這種預處理步驟十分有利於計算。按這種方式表示的邊界在跟蹤時不允許反向搜尋。如果要檢測諸如道路、河流、脈管等細而長的物體邊界，這種方法可能會非常有用。

6.2.5 作為動態規劃的邊緣跟蹤

（暫時跳過）

6.2.6 Hough變換

模版匹配存在形狀變形、旋轉、縮放等問題導致與在待處理的資料中物體的表示相差太大。Hough變換可以解決這個問題，甚至可用於重疊的或部分遮擋的物體的分割。

Hough變換的一個重要性質是，它對影象中直線的殘缺部分、噪聲以及其他共存的結構不敏感。這是由從影象空間到累計空間的變換的魯棒性引起的，直線殘缺的部分只會造成較低的區域性極值，這是因為對相應的累計單元有貢獻的邊緣畫素減少了的緣故。

引數空間中的三個區域性極大值對應於三個圓形物體的中心。

廣義Hough變換可以用來檢測任意的形狀，但是它需要完全定義目標物體的精確形狀，才能獲得精確的分割。

6.2.7 使用邊界位置資訊的邊界檢測

6.2.8 從邊界構造區域

用於形成紋理單元。

6.3 基於區域的分割

從區域的邊界構造區域以及檢測存在的區域的邊界是容易做到的。然而，由基於邊緣的方法產生的分割和由區域增長方法得到分割，通常並不總是相同的，將其結果結合起來很可能對它們二者都有提升。區域增長技術在有噪聲的影象中一般會更好一些，其中的邊界非常難以檢測。

6.3.1 區域歸併

區域歸併的結果一般依賴於區域被歸併的次序（因此如果分割開始於左上角或右下角，分割的結果可能不同）。這是因為歸併的次序可能會造成兩個相似的鄰接區域和沒有被歸併起來，即如果使用了的較早歸併所產生的新特徵不再允許與歸併，但是如果歸併過程使用了另一種次序，這一歸併可能會實現了。

超柵格資料結構使得可以精確地處理邊緣和邊界，但是這種資料結構的一大缺點是它不適合表達區域，而將每個區域作為影象的一部分表示出來是必要的，特別是在將有關區域和鄰接區域的語義資訊包含在內時更是如此。

6.3.2 區域分裂

6.3.3 分裂與歸併

6.3.4 分水嶺分割

區域邊緣對應於高的分水嶺線，而低梯度的區域內部對應於集水盆地。

6.3.5 區域增長後處理

使用區域增長方法分割後的影象，時常由於引數設定的非最優性造成的結果，不是含有太多的區域（欠增長）就是含有過少的區域（過增長）。為了改進分類結果，人們提出了各種後處理方法。有些方法將區域增長得到的分割資訊與基於邊緣的分割結合起來。

簡單的後處理是基於一般性的啟發式，在分割後的影象中減少小區域的數目。

6.4 匹配

匹配演算法：Hough變換、形狀不變數、蛇形、圖匹配、PDMs/AAMs、對應、假設和驗證、SIFT等。

6.4.1 模板匹配

6.4.2 模板匹配的控制策略

如果模式與影象資料在某個特殊的影象位置處是高度相關的，那麼該模式在這個位置的某個鄰域內與影象資料的相關性一般也是好的。即相關性在最佳匹配位置周圍變化是緩慢的。如果是這種情況，匹配可以首先在低解析度下測試，然後僅在好的低解析度匹配的鄰域內尋找精確的匹配。

由於找到錯匹配遠比找到匹配的機會大得多，應該儘可能早地檢測出錯匹配。

6.5 分割的評測問題

6.5.1 監督式評測

錯誤分類區域——相互重疊區域（mutual overlap）

也稱為Dice評測，該方法是以計算真值（ground truth）和分割區域的重疊部分為基礎的。

邊界定位錯誤

考慮分割結果與真值的畫素間歐式距離的方法。通過找兩個集合元素的最短距離的最大值的方法來計算。是有向距離，有方向性。

邊界定位錯誤通常情況下對整個分割邊界上的所有點求平均，用平均值標準差的形式來表示。有符號的平均邊界位置誤差代表了計算機分割結果的全域性偏向，而其標準差代表了整個分割結果偏離標準位置的程度。

6.5.2 非監督式評測