特徵提取是計算機視覺和影象處理中的一個概念。它指的是使用計算機提取影象資訊，決定每個影象的點是否屬於一個影象特徵。特徵提取的結果是把影象上的點分為不同的子集，這些子集往往屬於孤立的點、連續的曲線或者連續的區域。 

特徵的定義 

        至今為止特徵沒有萬能和精確的定義。特徵的精確定義往往由問題或者應用型別決定。特徵是一個數字影象中“有趣”的部分，它是許多計算機影象分析演算法的起點。因此一個演算法是否成功往往由它使用和定義的特徵決定。因此特徵提取最重要的一個特性是“可重複性”：同一場景的不同影象所提取的特徵應該是相同的。 

        特徵提取是圖象處理中的一個初級運算，也就是說它是對一個影象進行的第一個運算處理。它檢查每個畫素來確定該畫素是否代表一個特徵。假如它是一個更大的演算法的一部分，那麼這個演算法一般只檢查影象的特徵區域。作為特徵提取的一個前提運算，輸入影象一般通過高斯模糊核在尺度空間中被平滑。此後通過區域性導數運算來計算影象的一個或多個特徵。 

       有時，假如特徵提取需要許多的計算時間，而可以使用的時間有限制，一個高層次演算法可以用來控制特徵提取階層，這樣僅影象的部分被用來尋找特徵。 

        由於許多計算機影象演算法使用特徵提取作為其初級計算步驟，因此有大量特徵提取演算法被髮展，其提取的特徵各種各樣，它們的計算複雜性和可重複性也非常不同。 


邊緣 
        邊緣是組成兩個影象區域之間邊界（或邊緣）的畫素。一般一個邊緣的形狀可以是任意的，還可能包括交叉點。在實踐中邊緣一般被定義為影象中擁有大的梯度的點組成的子集。一些常用的演算法還會把梯度高的點聯絡起來來構成一個更完善的邊緣的描寫。這些演算法也可能對邊緣提出一些限制。 

區域性地看邊緣是一維結構。 


角 
        角是影象中點似的特徵，在區域性它有兩維結構。早期的演算法首先進行邊緣檢測，然後分析邊緣的走向來尋找邊緣突然轉向（角）。後來發展的演算法不再需要邊緣檢測這個步驟，而是可以直接在影象梯度中尋找高度曲率。後來發現這樣有時可以在影象中本來沒有角的地方發現具有同角一樣的特徵的區域。 


區域 
       與角不同的是區域描寫一個影象中的一個區域性的結構，但是區域也可能僅由一個畫素組成，因此許多區域檢測也可以用來監測角。一個區域監測器檢測影象中一個對於角監測器來說太平滑的區域。區域檢測可以被想象為把一張影象縮小，然後在縮小的影象上進行角檢測。 


脊 
        長條形的物體被稱為脊。在實踐中脊可以被看作是代表對稱軸的一維曲線，此外區域性針對於每個脊畫素有一個脊寬度。從灰梯度影象中提取脊要比提取邊緣、角和區域困難。在空中攝影中往往使用脊檢測來分辨道路，在醫學影象中它被用來分辨血管。 


特徵抽取 
        特徵被檢測後它可以從影象中被抽取出來。這個過程可能需要許多影象處理的計算機。其結果被稱為特徵描述或者特徵向量。 


常用的影象特徵有顏色特徵、紋理特徵、形狀特徵、空間關係特徵。 

一 顏色特徵 

（一）特點：顏色特徵是一種全域性特徵,描述了影象或影象區域所對應的景物的表面性質。一般顏色特徵是基於畫素點的特徵，此時所有屬於影象或影象區域的畫素都有各自的貢獻。由於顏色對影象或影象區域的方向、大小等變化不敏感，所以顏色特徵不能很好地捕捉影象中物件的區域性特徵。另外，僅使用顏色特徵查詢時，如果資料庫很大，常會將許多不需要的影象也檢索出來。顏色直方圖是最常用的表達顏色特徵的方法，其優點是不受影象旋轉和平移變化的影響，進一步藉助歸一化還可不受影象尺度變化的影響，基缺點是沒有表達出顏色空間分佈的資訊。 

（二）常用的特徵提取與匹配方法 

（1） 顏色直方圖 

        其優點在於：它能簡單描述一幅影象中顏色的全域性分佈，即不同色彩在整幅影象中所佔的比例，特別適用於描述那些難以自動分割的影象和不需要考慮物體空間位置的影象。其缺點在於：它無法描述影象中顏色的區域性分佈及每種色彩所處的空間位置，即無法描述影象中的某一具體的物件或物體。 

         最常用的顏色空間：RGB顏色空間、HSV顏色空間。 

         顏色直方圖特徵匹配方法：直方圖相交法、距離法、中心距法、參考顏色表法、累加顏色直方圖法。 

（2） 顏色集 

        顏色直方圖法是一種全域性顏色特徵提取與匹配方法，無法區分區域性顏色資訊。顏色集是對顏色直方圖的一種近似首先將影象從 RGB顏色空間轉化成視覺均衡的顏色空間（如 HSV 空間），並將顏色空間量化成若干個柄。然後，用色彩自動分割技術將影象分為若干區域，每個區域用量化顏色空間的某個顏色分量來索引，從而將影象表達為一個二進位制的顏色索引集。在影象匹配中，比較不同影象顏色集之間的距離和色彩區域的空間關係 

（3） 顏色矩 

        這種方法的數學基礎在於：影象中任何的顏色分佈均可以用它的矩來表示。此外，由於顏色分佈資訊主要集中在低階矩中，因此，僅採用顏色的一階矩（mean）、二階矩（variance）和三階矩（skewness）就足以表達影象的顏色分佈。 

（4） 顏色聚合向量 

        其核心思想是：將屬於直方圖每一個柄的畫素分成兩部分，如果該柄內的某些畫素所佔據的連續區域的面積大於給定的閾值，則該區域內的畫素作為聚合畫素，否則作為非聚合畫素。 

（5） 顏色相關圖 

二 紋理特徵 

（一）特點：紋理特徵也是一種全域性特徵，它也描述了影象或影象區域所對應景物的表面性質。但由於紋理只是一種物體表面的特性，並不能完全反映出物體的本質屬性，所以僅僅利用紋理特徵是無法獲得高層次影象內容的。與顏色特徵不同，紋理特徵不是基於畫素點的特徵，它需要在包含多個畫素點的區域中進行統計計算。在模式匹配中，這種區域性的特徵具有較大的優越性，不會由於區域性的偏差而無法匹配成功。作為一種統計特徵，紋理特徵常具有旋轉不變性，並且對於噪聲有較強的抵抗能力。但是，紋理特徵也有其缺點，一個很明顯的缺點是當影象的解析度變化的時候，所計算出來的紋理可能會有較大偏差。另外，由於有可能受到光照、反射情況的影響，從2-D影象中反映出來的紋理不一定是3-D物體表面真實的紋理。 

        例如，水中的倒影，光滑的金屬面互相反射造成的影響等都會導致紋理的變化。由於這些不是物體本身的特性，因而將紋理資訊應用於檢索時，有時這些虛假的紋理會對檢索造成“誤導”。 

        在檢索具有粗細、疏密等方面較大差別的紋理影象時，利用紋理特徵是一種有效的方法。但當紋理之間的粗細、疏密等易於分辨的資訊之間相差不大的時候，通常的紋理特徵很難準確地反映出人的視覺感覺不同的紋理之間的差別。

（二）常用的特徵提取與匹配方法 

  紋理特徵描述方法分類 

（1）統計方法統計方法的典型代表是一種稱為灰度共生矩陣的紋理特徵分析方法Gotlieb 和 Kreyszig 等人在研究共生矩陣中各種統計特徵基礎上，通過實驗，得出灰度共生矩陣的四個關鍵特徵：能量、慣量、熵和相關性。統計方法中另一種典型方法，則是從影象的自相關函式（即影象的能量譜函式）提取紋理特徵，即通過對影象的能量譜函式的計算，提取紋理的粗細度及方向性等特徵引數 

（2）幾何法 

        所謂幾何法，是建立在紋理基元（基本的紋理元素）理論基礎上的一種紋理特徵分析方法。紋理基元理論認為，複雜的紋理可以由若干簡單的紋理基元以一定的有規律的形式重複排列構成。在幾何法中，比較有影響的演算法有兩種：Voronio 棋盤格特徵法和結構法。 

（3）模型法 

        模型法以影象的構造模型為基礎，採用模型的引數作為紋理特徵。典型的方法是隨機場模型法，如馬爾可夫（Markov）隨機場（MRF）模型法和 Gibbs 隨機場模型法 

（4）訊號處理法 

        紋理特徵的提取與匹配主要有：灰度共生矩陣、Tamura 紋理特徵、自迴歸紋理模型、小波變換等。 

        灰度共生矩陣特徵提取與匹配主要依賴於能量、慣量、熵和相關性四個引數。Tamura 紋理特徵基於人類對紋理的視覺感知心理學研究，提出6種屬性，即：粗糙度、對比度、方向度、線像度、規整度和粗略度。自迴歸紋理模型（simultaneous auto-regressive, SAR）是馬爾可夫隨機場（MRF）模型的一種應用例項。 

三 形狀特徵 

（一）特點：各種基於形狀特徵的檢索方法都可以比較有效地利用影象中感興趣的目標來進行檢索，但它們也有一些共同的問題，包括：①目前基於形狀的檢索方法還缺乏比較完善的數學模型；②如果目標有變形時檢索結果往往不太可靠；③許多形狀特徵僅描述了目標區域性的性質，要全面描述目標常對計算時間和儲存量有較高的要求；④許多形狀特徵所反映的目標形狀資訊與人的直觀感覺不完全一致，或者說，特徵空間的相似性與人視覺系統感受到的相似性有差別。另外，從 2-D 影象中表現的 3-D 物體實際上只是物體在空間某一平面的投影，從 2-D 影象中反映出來的形狀常不是 3-D 物體真實的形狀，由於視點的變化，可能會產生各種失真。 

（二）常用的特徵提取與匹配方法 

Ⅰ幾種典型的形狀特徵描述方法 

        通常情況下，形狀特徵有兩類表示方法，一類是輪廓特徵，另一類是區域特徵。影象的輪廓特徵主要針對物體的外邊界，而影象的區域特徵則關係到整個形狀區域。 

幾種典型的形狀特徵描述方法： 

（1）邊界特徵法該方法通過對邊界特徵的描述來獲取影象的形狀引數。其中Hough 變換檢測平行直線方法和邊界方向直方圖方法是經典方法。Hough 變換是利用影象全域性特性而將邊緣畫素連線起來組成區域封閉邊界的一種方法，其基本思想是點—線的對偶性；邊界方向直方圖法首先微分影象求得影象邊緣，然後，做出關於邊緣大小和方向的直方圖，通常的方法是構造影象灰度梯度方向矩陣。 

（2）傅立葉形狀描述符法 

        傅立葉形狀描述符(Fourier shape deors)基本思想是用物體邊界的傅立葉變換作為形狀描述，利用區域邊界的封閉性和週期性，將二維問題轉化為一維問題。 

        由邊界點匯出三種形狀表達，分別是曲率函式、質心距離、復座標函式。 

（3）幾何引數法 

        形狀的表達和匹配採用更為簡單的區域特徵描述方法，例如採用有關形狀定量測度（如矩、面積、周長等）的形狀引數法（shape factor）。在 QBIC 系統中，便是利用圓度、偏心率、主軸方向和代數不變矩等幾何引數，進行基於形狀特徵的影象檢索。 

        需要說明的是，形狀引數的提取，必須以影象處理及影象分割為前提，引數的準確性必然受到分割效果的影響，對分割效果很差的影象，形狀引數甚至無法提取。 

（4）形狀不變矩法 

利用目標所佔區域的矩作為形狀描述引數。 

（5）其它方法 

        近年來，在形狀的表示和匹配方面的工作還包括有限元法（Finite Element Method 或 FEM）、旋轉函式（Turning ）和小波描述符（Wavelet Deor）等方法。 

Ⅱ 基於小波和相對矩的形狀特徵提取與匹配 

        該方法先用小波變換模極大值得到多尺度邊緣影象，然後計算每一尺度的 7個不變矩，再轉化為 10 個相對矩，將所有尺度上的相對矩作為影象特徵向量，從而統一了區域和封閉、不封閉結構。 

四 空間關係特徵 

（一）特點：所謂空間關係，是指影象中分割出來的多個目標之間的相互的空間位置或相對方向關係，這些關係也可分為連線/鄰接關係、交疊/重疊關係和包含/包容關係等。通常空間位置資訊可以分為兩類：相對空間位置資訊和絕對空間位置資訊。前一種關係強調的是目標之間的相對情況，如上下左右關係等，後一種關係強調的是目標之間的距離大小以及方位。顯而易見，由絕對空間位置可推出相對空間位置，但表達相對空間位置資訊常比較簡單。 

        空間關係特徵的使用可加強對影象內容的描述區分能力，但空間關係特徵常對影象或目標的旋轉、反轉、尺度變化等比較敏感。另外，實際應用中，僅僅利用空間資訊往往是不夠的，不能有效準確地表達場景資訊。為了檢索，除使用空間關係特徵外，還需要其它特徵來配合。 

（二）常用的特徵提取與匹配方法 

        提取影象空間關係特徵可以有兩種方法：一種方法是首先對影象進行自動分割，劃分出影象中所包含的物件或顏色區域，然後根據這些區域提取影象特徵，並建立索引；另一種方法則簡單地將影象均勻地劃分為若干規則子塊，然後對每個影象子塊提取特徵，並建立索引。 
姿態估計問題就是：確定某一三維目標物體的方位指向問題。姿態估計在機器人視覺、動作跟蹤和單照相機定標等很多領域都有應用。 

        在不同領域用於姿態估計的感測器是不一樣的，在這裡主要講基於視覺的姿態估計。 

        基於視覺的姿態估計根據使用的攝像機數目又可分為單目視覺姿態估計和多目視覺姿態估計。根據演算法的不同又可分為基於模型的姿態估計和基於學習的姿態估計。 

一基於模型的姿態估計方法 

        基於模型的方法通常利用物體的幾何關係或者物體的特徵點來估計。其基本思想是利用某種幾何模型或結構來表示物體的結構和形狀，並通過提取某些物體特徵，在模型和影象之間建立起對應關係，然後通過幾何或者其它方法實現物體空間姿態的估計。這裡所使用的模型既可能是簡單的幾何形體，如平面、圓柱，也可能是某種幾何結構，也可能是通過鐳射掃描或其它方法獲得的三維模型。 

        基於模型的姿態估計方法是通過比對真實影象和合成影象，進行相似度計算更新物體姿態。目前基於模型的方法為了避免在全域性狀態空間中進行優化搜尋，一般都將優化問題先降解成多個區域性特徵的匹配問題，非常依賴於區域性特徵的準確檢測。當噪聲較大無法提取準確的區域性特徵的時候，該方法的魯棒性受到很大影響。 

二基於學習的姿態估計方法 

        基於學習的方法藉助於機器學習(machine learning)方法，從事先獲取的不同姿態下的訓練樣本中學習二維觀測與三維姿態之間的對應關係，並將學習得到的決策規則或迴歸函式應用於樣本，所得結果作為對樣本的姿態估計。基於學習的方法一般採用全域性觀測特徵，不需檢測或識別物體的區域性特徵，具有較好的魯棒性。其缺點是由於無法獲取在高維空間中進行連續估計所需要的密集取樣，因此無法保證姿態估計的精度與連續性。 

        基於學習的姿態估計方法源於姿態識別方法的思想。姿態識別需要預先定義多個姿態類別，每個類別包含了一定的姿態範圍；然後為每個姿態類別標註若干訓練樣本，通過模式分類的方法訓練姿態分類器以實現姿態識別。 

        這一類方法並不需要對物體進行建模，一般通過影象的全域性特徵進行匹配分析，可以有效的避免區域性特徵方法在複雜姿態和遮擋關係情況下出現的特徵匹配歧義性問題。然而姿態識別方法只能將姿態劃分到事先定義的幾個姿態類別中，並不能對姿態進行連續的精確的估計。 

        基於學習的方法一般採用全域性觀測特徵，可以保證演算法具有較好的魯棒性。然而這一類方法的姿態估計精度很大程度依賴於訓練的充分程度。要想比較精確地得到二維觀測與三維姿態之間的對應關係，就必須獲取足夠密集的樣本來學習決策規則和迴歸函式。而一般來說所需要樣本的數量是隨狀態空間的維度指數級增加的，對於高維狀態空間，事實上不可能獲取進行精確估計所需要的密集取樣。因此，無法得到密集取樣而難以保證估計的精度與連續性，是基於學習的姿態估計方法無法克服的根本困難。 

        和姿態識別等典型的模式分類問題不同的是，姿態估計輸出的是一個高維的姿態向量，而不是某個類別的類標。因此這一類方法需要學習的是一個從高維觀測向量到高維姿態向量的對映，目前這在機器學習領域中還是一個非常困難的問題。 

        特徵是描述模式的最佳方式，且我們通常認為特徵的各個維度能夠從不同的角度描述模式，在理想情況下，維度之間是互補完備的。 

        特徵提取的主要目的是降維。特徵抽取的主要思想是將原始樣本投影到一個低維特徵空間，得到最能反應樣本本質或進行樣本區分的低維樣本特徵。 

        一般影象特徵可以分為四類：直觀性特徵、灰度統計特徵、變換系數特徵與代數特徵。 

        直觀性特徵主要指幾何特徵，幾何特徵比較穩定，受人臉的姿態變化與光照條件等因素的影響小，但不易抽取，而且測量精度不高，與影象處理技術密切相關。 

        代數特徵是基於統計學習方法抽取的特徵。代數特徵具有較高的識別精度，代數特徵抽取方法又可以分為兩類：一種是線性投影特徵抽取方法；另外一種是非線性特徵抽取方法。 

        習慣上，將基於主分量分析和Fisher線性鑑別分析所獲得的特徵抽取方法，統稱為線性投影分析。 

       基於線性投影分析的特徵抽取方法，其基本思想是根據一定的效能目標來尋找一線性變換，把原始訊號資料壓縮到一個低維子空間，使資料在子空間中的分佈更加緊湊，為資料的更好描述提供手段，同時計算的複雜度得到大大降低。線上性投影分析中，以主分量分析（PCA，或稱K-L變換）和Fisher線性鑑別分析（LDA）最具代表性，圍繞這兩種方法所形成的特徵抽取演算法，已成為模式識別領域中最為經典和廣泛使用的方法。 

        線性投影分析法的主要缺點為：需要對大量的已有樣本進行學習，且對定位、光照與物體非線性形變敏感，因而採集條件對識別效能影響較大。 

        非線性特徵抽取方法也是研究的熱點之一。“核技巧”最早應用在SVM中，KPCA和KFA是“核技巧”的推廣應用。 

        核投影方法的基本思想是將原樣本空間中的樣本通過某種形式的非線性對映，變換到一個高維甚至無窮維的空間，並藉助於核技巧在新的空間中應用線性的分析方法求解。由於新空間中的線性方向也對應原樣本空間的非線性方向，所以基於核的投影分析得出的投影方向也對應原樣本空間的非線性方向。 

        核投影方法也有一些弱點：幾何意義不明確，無法知道樣本在非顯式對映後變成了什麼分佈模式；核函式中引數的選取沒有相應選擇標準，大多數只能採取經驗引數選取；不適合訓練樣本很多的情況，原因是經過核對映後，樣本的維數等於訓練樣本的個數，如果訓練樣本數目很大，核對映後的向量維數將會很高，並將遇到計算量上的難題。 

         就應用領域來說，KPCA遠沒有PCA應用的廣泛。如果作為一般性的降維KPCA確實比PCA效果好，特別是特徵空間不是一般的歐式空間的時候更為明顯。PCA可以通過大量的自然圖片學習一個子空間，但是KPCA做不到。 

        變換系數特徵指先對影象進行Fourier變換、小波變換等，得到的係數後作為特徵進行識別

再opencv的CHM幫助檔案中解釋:

目標檢測方法最初由Paul Viola [Viola01]提出，並由Rainer Lienhart [Lienhart02]對這一方法進行了改善. 首先，利用樣本（大約幾百幅樣本圖片）的 harr 特徵進行分類器訓練，得到一個級聯的boosted分類器。訓練樣本分為正例樣本和反例樣本，其中正例樣本是指待檢目標樣本(例如人臉或汽車等)，反例樣本指其它任意圖片，所有的樣本圖片都被歸一化為同樣的尺寸大小(例如，20x20)。

分類器訓練完以後，就可以應用於輸入影象中的感興趣區域(與訓練樣本相同的尺寸)的檢測。檢測到目標區域(汽車或人臉)分類器輸出為1，否則輸出為0。為了檢測整副影象，可以在影象中移動搜尋視窗，檢測每一個位置來確定可能的目標。 為了搜尋不同大小的目標物體，分類器被設計為可以進行尺寸改變，這樣比改變待檢影象的尺寸大小更為有效。所以，為了在影象中檢測未知大小的目標物體，掃描程式通常需要用不同比例大小的搜尋視窗對圖片進行幾次掃描。

分類器中的“級聯”是指最終的分類器是由幾個簡單分類器級聯組成。在影象檢測中，被檢視窗依次通過每一級分類器， 這樣在前面幾層的檢測中大部分的候選區域就被排除了，全部通過每一級分類器檢測的區域即為目標區域。 目前支援這種分類器的boosting技術有四種： Discrete Adaboost, Real Adaboost, Gentle Adaboost and Logitboost。"boosted" 即指級聯分類器的每一層都可以從中選取一個boosting演算法(權重投票)，並利用基礎分類器的自我訓練得到。基礎分類器是至少有兩個葉結點的決策樹分類器。 Haar特徵是基礎分類器的輸入，主要描述如下。目前的演算法主要利用下面的Harr特徵。

?

每個特定分類器所使用的特徵用形狀、感興趣區域中的位置以及比例係數（這裡的比例係數跟檢測時候採用的比例係數是不一樣的，儘管最後會取兩個係數的乘積值）來定義。例如在第三行特徵(2c)的情況下，響應計算為覆蓋全部特徵整個矩形框(包括兩個白色矩形框和一個黑色矩形框)象素的和減去黑色矩形框內象素和的三倍 。每個矩形框內的象素和都可以通過積分圖象很快的計算出來。(察看下面和對cvIntegral的描述).

通過HaarFaceDetect 的演示版可以察看目標檢測的工作情況。

下面只是檢測部分的參考手冊。 haartraining是它的一個單獨的應用，可以用來對系列樣本訓練級聯的 boosted分類器。