所謂影象分割指的是根據灰度、顏色、紋理和形狀等特徵把影象劃分成若干互不交迭的區域，並使這些特徵在同一區域內呈現出相似性，而在不同區域間呈現出明顯的差異性。

多數的影象分割演算法均是基於灰度值的不連續和相似的性質。

1、基於閾值的分割方法

      閾值法的基本思想是基於影象的灰度特徵來計算一個或多個灰度閾值，並將影象中每個畫素的灰度值與閾值相比較，最後將畫素根據比較結果分到合適的類別中。因此，該類方法最為關鍵的一步就是按照某個準則函式來求解最佳灰度閾值。

• 固定閾值分割:
  • 固定某畫素值為分割點。
• 直方圖雙峰法：
  • Prewitt 等人於六十年代中期提出的直方圖雙峰法(也稱 mode 法) 是典型的全域性單閾值分割方法。該方法的基本思想是：假設影象中有明顯的目標和背景，則其灰度直方圖呈雙峰分佈，當灰度級直方圖具有雙峰特性時，選取兩峰之間的谷對應的灰度級作為閾值。如果背景的灰度值在整個影象中可以合理地看作為恆定，而且所有物體與背景都具有幾乎相同的對比度，那麼，選擇一個正確的、固定的全域性閾值會有較好的效果.演算法實現：找到第一個峰值和第二個峰值,再找到第一和第二個峰值之間的谷值，谷值就是那個閥值了。
• 迭代閾值影象分割:
  • 1．統計影象灰度直方圖,求出圖象的最大灰度值和最小灰度值，分別記為ZMAX和ZMIN，令初始閾值T0=(ZMAX+ZMIN)/2；
  • 2． 根據閾值TK將圖象分割為前景和背景，計算小於TO所有灰度的均值ZO，和大於TO的所有灰度的均值ZB。
  • 3． 求出新閾值TK+1=(ZO+ZB)/2；
  • 4． 若TK==TK+1，則所得即為閾值；否則轉2，迭代計算。
• 自適應閾值影象分割: 有時候物體和背景的對比度在影象中不是處處一樣的，普通閾值分割難以起作用。這時候可以根據影象的區域性特徵分別採用不同的閾值進行分割。只要我們將影象分為幾個區域，分別選擇閾值，或動態地根據一定鄰域範圍選擇每點處的閾值，從而進行影象分割。
  • 大津法 OTSU （最大類間方差法）：
    • 日本學者大津在1979年提出的自適應閾值確定方法。 按照影象的灰度特性，將影象分為背景和目標兩部分。背景和目標之間的類間方差越大,說明構成影象的2部分的差別越大,當部分目標錯分為背景或部分背景錯分為目標都會導致2部分差別變小。因此,使類間方差最大
      的分割意味著錯分概率最小。
  • 均值法:
    • 把影象分成m*n塊子圖，求取每一塊子圖的灰度均值就是所有畫素灰度值之和除以畫素點的數量，這個均值就是閾值了。這種方法明顯不比大津法好，因為均值法和大津法都是從影象整體來考慮閾值的，但是大津法找了一個類間方差最大值來求出最佳閾值的；這兩種方法子圖越多應該分割效果會好一點，但效率可能會變慢
• 最佳閾值:
  • 閾值選擇需要根據具體問題來確定，一般通過實驗來確定。如對某類圖片，可以分析其直方圖等。

特點

閾值分割的優點是計算簡單、運算效率較高、速度快。全域性閾值對於灰度相差很大的不同目標和背景能進行有效的分割。當影象的灰度差異不明顯或不同目標的灰度值範圍有重疊時，應採用區域性閾值或動態閾值分割法。另一方面，這種方法只考慮畫素本身的灰度值，一般不考慮空間特徵，因而對噪聲很敏感。在實際應用中，閾值法通常與其他方法結合使用。

閾值設定易受噪聲和光亮度影響。近年來的方法有：用最大相關性原則選擇閾值的方法、基於影象拓撲穩定狀態的方法、Yager測度極小化方法、灰度共生矩陣方法、方差法、熵法、峰值和谷值分析法等，其中，自適應閾值法、最大熵法、模糊閾值法、類間閾值法是對傳統閾值法改進較成功的幾種演算法。更多的情況下，閾值的選擇會綜合運用2種或2種以上的方法，這也是影象分割發展的一個趨勢。

2、基於邊緣的分割方法

       所謂邊緣是指影象中兩個不同區域的邊界線上連續的畫素點的集合，是影象區域性特徵不連續性的反映，體現了灰度、顏色、紋理等影象特性的突變。通常情況下，基於邊緣的分割方法指的是基於灰度值的邊緣檢測，它是建立在邊緣灰度值會呈現出階躍型或屋頂型變化這一觀測基礎上的方法。

階躍型邊緣兩邊畫素點的灰度值存在著明顯的差異，而屋頂型邊緣則位於灰度值上升或下降的轉折處。正是基於這一特性，可以使用微分運算元進行邊緣檢測，即使用一階導數的極值與二階導數的過零點來確定邊緣，具體實現時可以使用影象與模板進行卷積來完成。

常用灰度的一階或者二階微分運算元進行邊緣檢測。常用的微分運算元有一次微分(sobel運算元，Robert運算元等)，二次微分(拉普拉斯運算元等)和模板操作(Prewit運算元，Kirsch運算元等)。

特點

基於邊緣的分割方法其難點在於邊緣檢測時抗噪性和檢測精度之間的矛盾。若提高檢測精度，則噪聲產生的偽邊緣會導致不合理的輪廓；若提高抗噪性，則會產生輪廓漏檢和位置偏差。為此，人們提出各種多尺度邊緣檢測方法，根據實際問題設計多尺度邊緣資訊的結合方案，以較好的兼顧抗噪性和檢測精度。

3、基於區域的分割方法

      此類方法是將影象按照相似性準則分成不同的區域，主要包括種子區域生長法、區域分裂合併法和分水嶺法等幾種型別。

       種子區域生長法是從一組代表不同生長區域的種子畫素開始，接下來將種子畫素鄰域裡符合條件的畫素合併到種子畫素所代表的生長區域中，並將新新增的畫素作為新的種子畫素繼續合併過程，直到找不到符合條件的新畫素為止。該方法的關鍵是選擇合適的初始種子畫素以及合理的生長準則。

             具體步驟－先對每個需要分割的區域找一個種子象素作為生長起點，然後將種子象素周圍鄰域中與種子象素有相同或相似性質的象素(根據某種事先確定的生長或相似準則來判定)合併到種子象素所在的區域中。將這些新象素當做新的種子象素繼續進行上面的過程，直到再沒有滿足條件的象素可被包括進來，這樣一個區域就長成了

              區域生長法時需要解決三個問題：

（1）選擇或確定一組能正確代表所需區域的種子象素（2）確定在生長過程中能將相鄰象素包括進來的準則（3）制定讓生長過程停止的條件或規則

3種基本的生長準則和方法：基於區域灰度差、基於區域內灰度分佈統計性質、基於區域形狀

        區域分裂合併法（Gonzalez，2002）的基本思想是首先將影象任意分成若干互不相交的區域，然後再按照相關準則對這些區域進行分裂或者合併從而完成分割任務，該方法既適用於灰度影象分割也適用於紋理影象分割。

        在這類方法中，常根據影象的統計特性（區域的邊緣資訊來決定是否對區域進行合併或分裂）設定影象區域屬性的一致性測度（基於灰度統計特性）

        分水嶺法（Meyer，1990）是一種基於拓撲理論的數學形態學的分割方法，其基本思想是把影象看作是測地學上的拓撲地貌，影象中每一點畫素的灰度值表示該點的海拔高度，每一個區域性極小值及其影響區域稱為集水盆，而集水盆的邊界則形成分水嶺。該演算法的實現可以模擬成洪水淹沒的過程，影象的最低點首先被淹沒，然後水逐漸淹沒整個山谷。當水位到達一定高度的時候將會溢位，這時在水溢位的地方修建堤壩，重複這個過程直到整個影象上的點全部被淹沒，這時所建立的一系列堤壩就成為分開各個盆地的分水嶺。分水嶺演算法對微弱的邊緣有著良好的響應，但影象中的噪聲會使分水嶺演算法產生過分割的現象。為了達到更好的分割效果，常常將分水嶺演算法應用到梯度影象上，而不是影象本身。

特點

基於區域的分割方法往往會造成影象的過度分割，而單純的基於邊緣檢測方法有時不能提供較好的區域結構，為此可將基於區域的方法和邊緣檢測的方法結合起來，發揮各自的優勢以獲得更好的分割效果。

4、基於圖論的分割方法

        此類方法把影象分割問題與圖的最小割（min cut）問題相關聯。首先將影象對映為帶權無向圖G=<V，E>，圖中每個節點N∈V對應於影象中的每個畫素，每條邊∈E連線著一對相鄰的畫素，邊的權值表示了相鄰畫素之間在灰度、顏色或紋理方面的非負相似度。而對影象的一個分割s就是對圖的一個剪下，被分割的每個區域C∈S對應著圖中的一個子圖。而分割的最優原則就是使劃分後的子圖在內部保持相似度最大，而子圖之間的相似度保持最小。基於圖論的分割方法的本質就是移除特定的邊，將圖劃分為若干子圖從而實現分割。目前所瞭解到的基於圖論的方法有GraphCut，GrabCut和Random Walk等。

5、基於能量泛函的分割方法

       該類方法主要指的是活動輪廓模型（active contour model）以及在其基礎上發展出來的演算法，其基本思想是使用連續曲線來表達目標邊緣，並定義一個能量泛函使得其自變數包括邊緣曲線，因此分割過程就轉變為求解能量泛函的最小值的過程，一般可通過求解函式對應的尤拉(Euler．Lagrange)方程來實現，能量達到最小時的曲線位置就是目標的輪廓所在。按照模型中曲線表達形式的不同，活動輪廓模型可以分為兩大類：引數活動輪廓模型（parametric active contour model）和幾何活動輪廓模型（geometric active contour model）。

       引數活動輪廓模型是基於Lagrange框架，直接以曲線的引數化形式來表達曲線，最具代表性的是由Kasset a1(1987)所提出的Snake模型。該類模型在早期的生物影象分割領域得到了成功的應用，但其存在著分割結果受初始輪廓的設定影響較大以及難以處理曲線拓撲結構變化等缺點，此外其能量泛函只依賴於曲線引數的選擇，與物體的幾何形狀無關，這也限制了其進一步的應用。

       幾何活動輪廓模型的曲線運動過程是基於曲線的幾何度量引數而非曲線的表達引數，因此可以較好地處理拓撲結構的變化，並可以解決引數活動輪廓模型難以解決的問題。而水平集（Level Set）方法（Osher，1988）的引入，則極大地推動了幾何活動輪廓模型的發展，因此幾何活動輪廓模型一般也可被稱為水平集方法。

• • Snake模型：
    • 參考：
      • Michael Kass et al. Snakes: Active contour models. International Journal of Computer Vision, pages 321-331, 1987.
      • 影象分割之（五）活動輪廓模型之Snake模型簡介
      • 計算機視覺之影象分割——Snake模型(1譯文)
    • 在處理如邊緣檢測、角點識別、動態跟蹤以及立體匹配等任務上非常成功。
    • SNAKE模型就是一條可變形的引數曲線及相應的能量函式，以最小化能量目標函式為目標，控制引數曲線變形，具有最小能量的閉合曲線就是目標輪廓。模型的形變受到同時作用在模型上的許多不同的力所控制，每一種力所產生一部分能量，這部分能量表示為活動輪廓模型的能量函式的一個獨立的能量項。
    • 基本Snakes模型的能量函式由三項組成，彈效能量和彎曲能量合稱內部能量（內部力），用於控制輪廓線的彈性形變，起到保持輪廓連續性和平滑性的作用。而第三項代表外部能量，也被稱為影象能量，表示變形曲線與影象區域性特徵吻合的情況。內部能量僅僅跟snake的形狀有關，而跟影象資料無關。而外部能量僅僅跟影象資料有關。在某一點的α和β的值決定曲線可以在這一點伸展和彎曲的程度。最終對影象的分割轉化為求解能量函式Etotal(v)極小化（最小化輪廓的能量）。在能量函式極小化過程中，彈效能量迅速把輪廓線壓縮成一個光滑的圓，彎曲能量驅使輪廓線成為光滑曲線或直線，而影象力則使輪廓線向影象的高梯度位置靠攏。基本Snakes模型就是在這3個力的聯合作用下工作的。
    • snake相對於經典的特徵提取方法有以下優點：
      • 通過正確設定和項前係數，可互動方式控制snake;
      • 容易操控，因為影象力是以直觀的方式表現;
      • 在尋找最小能量狀態的時候它們是自主的和自適應的;
      • 可以通過在影象能量函式中加入高斯平滑而對影象尺度敏感;
      • 可以用於跟蹤時間或者空間維度上的動態目標。
    • snake的缺點：
      • 初始位置不同使得結果不同;
      • 經常陷入區域性最小狀態，這也許可以通過使用模擬退火技術來克服，代價就是計算時間增加;
      • 在最小化整個輪廓路徑上的能量過程中經常忽略微小特徵;
      • 精度由能量最小化技術中使用的收斂標準控制；更高的精度要求更嚴格的收斂標準，因此需要更長的計算時間。
  • ASM(Active Shape Model)
    • 參考：
      • Cootes T F, Taylor C J. Active Shape Models — ‘Smart Snakes’[M]// BMVC92. Springer London, 1992:266--275.
      • ASM(Active Shape Model) 主動形狀模型總結
    • ASM（主動形狀模型）是建立在PDM（點分佈模型）的基礎上，通過訓練影象樣本獲取訓練影象樣本的特徵點分佈的統計資訊，並且獲取特徵點允許存在的變化方向，實現在目標影象上尋找對應的特徵點的位置。訓練樣本需要手動的標記所有的特徵點的位置，記錄特徵點的座標，並且計算每一個特徵點對應的區域性灰度模型作為區域性特徵點調整用的特徵向量。在將訓練好的模型放在目標影象上，尋找每一個特徵點的下一個位置的時候，採用區域性灰度模型尋找在當前特徵點指定方向上區域性灰度模型馬氏距離最小的特徵點作為當前特徵點即將移動到的位置，稱為suggested point, 找到所有的suggested points就可以獲得一個搜尋的suggested shape, 然後將當前的模型通過調整引數使得當前的模型最可能相似的調整到suggest shape，重複迭代直到實現收斂。
  • AAM(Active Appearance Models)
    • 參考：
      • Cootes T F, Edwards G J, Taylor C J. Active Appearance Models[C]// European Conference on Computer Vision. Springer Berlin Heidelberg, 1998:484-498.
      • AAM（Active Appearance Model）演算法介紹
    • ASM是基於統計形狀模型的基礎上進行的，而AAM則是在ASM的基礎上，進一步對紋理（將人臉影象變形到平均形狀而得到的形狀無關影象）進行統計建模，並將形狀和紋理兩個統計模型進一步融合為表觀模型。
    • AAM模型相對於ASM模型的改進為：
      • 使用兩個統計模型融合 取代 ASM的灰度模型。
      • 主要對特徵點的特徵描述子進行了改進，增加了描述子的複雜度和魯棒性
  • CLM(Constrained local model)有約束的區域性模型
    • 參考：
      • 機器學習理論與實戰（十六）概率圖模型04
    • CLM是有約束的區域性模型，ASM也屬於CLM的一種。CLM通過初始化平均臉的位置，然後讓每個平均臉上的特徵點在其鄰域位置上進行搜尋匹配來完成人臉點檢測。整個過程分兩個階段：模型構建階段和點擬合階段。模型構建階段又可以細分兩個不同模型的構建：
      • 形狀模型構建: 對人臉模型形狀進行建模，說白了就是一個ASM的點分佈函式（PDM），它描述了形狀變化遵循的準則.
      • Patch模型構建: 對每個特徵點周圍鄰域進行建模，也就說建立一個特徵點匹配準則，怎麼判斷特徵點是最佳匹配.
• 幾何活動輪廓模型（geometric active contour model）:
  • 參考：
    • ·S.Osher,J.A.Sethian,Fronts propagating with curvature dependent speed:algorithms basedon Hamilton-Jacobi formulations.Journal of Computational Physics,1988,79:12—49
    • 影象分割___影象分割方法綜述
  • 幾何活動輪廓模型的曲線運動過程是基於曲線的幾何度量引數而非曲線的表達引數，因此可以較好地處理拓撲結構的變化，並可以解決引數活動輪廓模型難以解決的問題。而水平集（Level Set）方法（Osher，1988）的引入，則極大地推動了幾何活動輪廓模型的發展，因此幾何活動輪廓模型一般也可被稱為水平集方法。
  • 幾何活動輪廓模型(Geometric Active Contours Model)是以曲線演化理論和水平集方法為理論基礎,繼引數活動輪廓模型後形變模型的又一發展,是影象分割和邊界提取的重要工具之一。相對於引數活動輪廓模型,幾何活動輪廓模型具有很多優點,如可以處理曲線的拓撲變化、對初始位置不敏感、具有穩定的數值解等.
  • 幾何活動輪廓模型又可分為基於邊界的活動輪廓模型、基於區域的活動輪廓模型。基於邊界的活動輪廓模型主要依賴影象的邊緣資訊控制曲線的運動速度。在影象邊緣強度較弱或是遠離邊緣的地方，輪廓曲線運動速度較大，而在影象邊緣強度較強的地方，輪廓曲線運動速度較小甚至停止，使得最終的輪廓曲線運動到邊緣位置.

6.基於數學形態學的分割方法

數學形態學是一種非線性濾波方法，可以用於抑制噪聲、特性提取、邊緣檢測、影象分割等影象處理問題。數學形態學首先被用來處理二值影象，後來也被用來處理灰度影象，現在又有學者開始用軟數學形態學和模糊形態學來解決計算機視覺方面的問題。數學形態學的特點是能將複雜的形狀進行分解，並將有意義的形狀分量從無用的資訊中提取出來。它的基本思想是利用一個稱為結構元素的探針來收集影象的資訊，當探針在影象中不斷的移動時，不僅可根據影象各個部分間的相互關係來了解影象的結構特徵，而且利用數學形態學基本運算還可以構造出許多非常有效的影象處理與分析方法。其基本的形態運算是腐蝕與膨脹。腐蝕具有使目標縮小、目標內孔增大以及外部孤立噪聲消除的效果;而膨脹是將影象中與目標物體接觸的所有背景點合併到物體中的過程，結果是使目標增大、孔徑縮小，可以增補目標中的空間，使其形成連通域。數學形態學中另一對基本運算方法是開運算和閉運算。開運算具有消除影象是細小物體，並在物體影響纖細處分離物體和平滑較大物體邊界的作用;閉運算具有填充物體影像內細小空間， 接鄰近物體和平滑邊界的作用。

特點

數學形態學應用於影象分割，具有定位效果好、分割精度高、抗噪聲效能好的特點。同時這種方法也有著自身的侷限性：由於在影象處理的前期工作中，採用數學形態學的開(閉)運算，進行影象處理後，依然存在大量與目標不符的短線和孤立點;由於預處理工作的不徹底，還需要進行一系列的基於點的開(閉)運算，因此運算速度明顯下降。如何將數學形態學與其它方法綜合運用以克服這些缺陷，將是數學形態學以後的工作方向。連線鄰近物體和平滑邊界的作用。

7.運動分割

從空間分割的角度來看，視訊影象分割主要是希望把其中獨立運動的區域(目標)逐幀檢測處理；從時間分割的角度來看，主要是把連續的序列分解為時間片斷。這兩種都同時利用時域資訊(幀間灰度等的變化)和空域資訊(幀內灰度等的變化)

運動影象的分割可直接利用時-空影象的灰度和梯度資訊進行分割，也可採用在兩幀視訊影象間估計光流場，然後基於光流場進行。前者稱為直接方法，後者稱為間接方法。

假設照明條件在多幀影象間基本不變化，那麼差影象的不為0處表明該處的象素髮生了移動，也就是說，對時間上相鄰的兩幅影象求差，可以將影象中目標的位置和形狀變化突出出來

►這種目標檢測方法的優點是計算簡單、易於實時，位置準確，但它要求背景絕對靜止或基本無變化（噪聲較小），不適用於攝像頭運動或者背景灰度變化很大的情況，因而適用場合有限，另外其不足之處還在於受環境光線變化的影響較大，在非受控環境下需要加入背景影象更新機制。而對於相鄰幀差分法對運動目標很敏感，但檢測出的物體的位置不精確，其外接矩形在運動方向上被拉伸，這實際上是由相對運動與物體位置並非完全一致引起的

在光流場中，不同的物體會有不同的速度，大面積背景的運動會在影象上產生較為均勻的速度向量區域，這為具有不同速度的其它運動物體的分割提供了方便。

參考：https://zhuanlan.zhihu.com/p/30732385

https://blog.csdn.net/zouxy09/article/details/8532106