影象特徵概念
http://blog.csdn.net/wishchin/article/details/14043715
有少量修改，如有疑問，請問原作者！
常用的影象特徵有顏色特徵、紋理特徵、形狀特徵、空間關係特徵。
一 ：顏色特徵
（一）特點：顏色特徵是一種全域性特徵,描述了影象或影象區域所對應的景物的表面性質。一般顏色特徵是基於畫素點的特徵，此時所有屬於影象或影象區域的畫素都有各自的貢獻。由於顏色對影象或影象區域的方向、大小等變化不敏感，所以顏色特徵不能很好地捕捉影象中物件的區域性特徵。另外，僅使用顏色特徵查詢時，如果資料庫很大，常會將許多不需要的影象也檢索出來。顏色直方圖是最常用的表達顏色特徵的方法，其優點是不受影象旋轉和平移變化的影響，進一步藉助歸一化
注：對於 pose的估計，顏色直方圖可以作為超畫素基元的統計特徵，在每一個小塊內保持不變性；
（二）常用的特徵提取與匹配方法
（1） 顏色直方圖
其優點在於：它能簡單描述一幅影象中顏色的全域性分佈，即不同色彩在整幅影象中所佔的比例，特別適用於描述那些難以自動分割的影象和不需要考慮物體空間位置的影象。其缺點在於：它無法描述影象中顏色的區域性分佈及每種色彩所處的空間位置，即無法描述影象中的某一具體的物件或物體。
最常用的顏色空間：RGB顏色空間、HSV顏色空間。
顏色直方圖特徵匹配方法：直方圖相交法、距離法、中心距法、參考顏色表法、累加顏色直方圖法。
（2） 顏色集 （如 HSV 空間）
顏色直方圖法是一種全域性顏色特徵提取與匹配方法，無法區分區域性顏色資訊。顏色集是對顏色直方圖的一種近似首先將影象從 RGB顏色空間轉化成視覺均衡的顏色空間（如 HSV 空間
（3） 顏色矩 （顏色分佈）
這種方法的數學基礎在於：影象中任何的顏色分佈均可以用它的矩來表示。此外，由於顏色分佈資訊主要集中在低階矩中，因此，僅採用顏色的一階矩（mean）、二階矩（variance）和三階矩（skewness）就足以表達影象的顏色分佈。
（4） 顏色聚合向量
其核心思想是：將屬於直方圖每一個柄的畫素分成兩部分，如果該柄內的某些畫素所佔據的連續區域的面積大於給定的閾值，則該區域內的畫素作為聚合畫素，否則作為非聚合畫素。
（5） 顏色相關圖
二 ：紋理特徵
（一）特點：紋理特徵也是一種全域性特徵，它也描述了影象或影象區域所對應景物的表面性質。但由於紋理只是一種物體表面的特性，並不能完全反映出物體的本質屬性，所以僅僅利用紋理特徵是無法獲得高層次影象內容的。與顏色特徵不同，紋理特徵不是基於畫素點的特徵，它需要在包含多個畫素點的區域中進行統計計算。在模式匹配中，這種區域性的特徵具有較大的優越性，不會由於區域性的偏差而無法匹配成功。作為一種統計特徵，紋理特徵常具有旋轉不變性，並且對於噪聲有較強的抵抗能力。但是，紋理特徵也有其缺點，一個很明顯的缺點是當影象的解析度變化的時候，所計算出來的紋理可能會有較大偏差。另外，由於有可能受到光照、反射情況的影響，從2-D影象中反映出來的紋理不一定是3-D物體表面真實的紋理。
例如，水中的倒影，光滑的金屬面互相反射造成的影響等都會導致紋理的變化。由於這些不是物體本身的特性，因而將紋理資訊應用於檢索時，有時這些虛假的紋理會對檢索造成“誤導”。 注：引入紋理語義分層分析；
在檢索具有粗細、疏密等方面較大差別的紋理影象時，利用紋理特徵是一種有效的方法。但當紋理之間的粗細、疏密等易於分辨的資訊之間相差不大的時候，通常的紋理特徵很難準確地反映出人的視覺感覺不同的紋理之間的差別。
（二）常用的特徵提取與匹配方法
紋理特徵描述方法分類 ：
（1）統計方法：
統計方法的典型代表是一種稱為灰度共生矩陣GLCM的紋理特徵分析方法Gotlieb 和 Kreyszig 等人在研究共生矩陣中各種統計特徵基礎上，通過實驗，得出灰度共生矩陣的四個關鍵特徵：能量、慣量、熵和相關性。統計方法中另一種典型方法，則是從影象的自相關函式（即影象的能量譜函式）提取紋理特徵，即通過對影象的能量譜函式的計算，提取紋理的粗細度及方向性等特徵引數
（2）幾何方法：
所謂幾何法，是建立在紋理基元（基本的紋理元素）理論基礎上的一種紋理特徵分析方法。紋理基元理論認為，複雜的紋理可以由若干簡單的紋理基元以一定的有規律的形式重複排列構成。
在幾何法中，比較有影響的演算法有兩種：Voronio 棋盤格特徵法和結構法。
（3）模型 法：
模型法以影象的構造模型為基礎，採用模型的引數作為紋理特徵。典型的方法是隨機場CRF模型法，如馬爾可夫（Markov）隨機場（MRF）模型法和 Gibbs 隨機場模型法。
（4）訊號處理法
紋理特徵的提取與匹配主要有：灰度共生矩陣、Tamura 紋理特徵、自迴歸紋理模型、小波變換等。
灰度共生矩陣特徵提取與匹配主要依賴於能量、慣量、熵和相關性四個引數。Tamura 紋理特徵基於人類對紋理的視覺感知心理學研究，提出6種屬性，即：粗糙度、對比度、方向度、線像度、規整度和粗略度。自迴歸紋理模型（simultaneous auto-regressive, SAR）是馬爾可夫隨機場（MRF）模型的一種應用例項。
三 ：形狀特徵
（一）特點：各種基於形狀特徵的檢索方法都可以比較有效地利用影象中感興趣的目標來進行檢索，但它們也有一些共同的問題，包括：①目前基於形狀的檢索方法還缺乏比較完善的數學模型；
②如果目標有變形時檢索結果往往不太可靠；
③許多形狀特徵僅描述了目標區域性的性質，要全面描述目標常對計算時間和儲存量有較高的要求；
④許多形狀特徵所反映的目標形狀資訊與人的直觀感覺不完全一致，或者說，特徵空間的相似性與人視覺系統感受到的相似性有差別。
另外，從 2-D 影象中表現的 3-D 物體實際上只是物體在空間某一平面的投影，從 2-D 影象中反映出來的形狀常不是 3-D 物體真實的形狀，由於視點的變化，可能會產生各種失真。 注：對於pose的估計可以用基於形狀的3維影象，擺脫視點影響，產生類似於VFH的特徵；
（二）常用的特徵提取與匹配方法
Ⅰ.幾種典型的形狀特徵描述方法
通常情況下，形狀特徵有兩類表示方法，一類是輪廓特徵，另一類是區域特徵。影象的輪廓特徵主要針對物體的外邊界，而影象的區域特徵則關係到整個形狀區域。
幾種典型的形狀特徵描述方法：
（1）邊界特徵法：
該方法通過對邊界特徵的描述來獲取影象的形狀引數。其中Hough 變換檢測平行直線方法和邊界方向直方圖方法是經典方法。Hough 變換是利用影象全域性特性而將邊緣畫素連線起來組成區域封閉邊界的一種方法，其基本思想是點—線的對偶性；邊界方向直方圖法首先微分影象求得影象邊緣，然後，做出關於邊緣大小和方向的直方圖，通常的方法是構造影象灰度梯度方向矩陣。
（2）傅立葉形狀描述符法：
傅立葉形狀描述符(Fourier shape deors)基本思想是用物體邊界的傅立葉變換作為形狀描述，利用區域邊界的封閉性和週期性，將二維問題轉化為一維問題。
由邊界點匯出三種形狀表達，分別是曲率函式、質心距離、復座標函式。
（3）幾何引數法：
形狀的表達和匹配採用更為簡單的區域特徵描述方法，例如採用有關形狀定量測度（如矩、面積、周長等）的形狀引數法（shape factor）。在 QBIC 系統中，便是利用圓度、偏心率、主軸方向和代數不變矩等幾何引數，進行基於形狀特徵的影象檢索。
需要說明的是，形狀引數的提取，必須以影象處理及影象分割為前提，引數的準確性必然受到分割效果的影響，對分割效果很差的影象，形狀引數甚至無法提取。
（4）形狀不變矩法：
利用目標所佔區域的矩作為形狀描述引數。
（5）其它方法
近年來，在形狀的表示和匹配方面的工作還包括有限元法（Finite Element Method 或 FEM）、旋轉函式（Turning ）和小波描述符（Wavelet Deor）等方法。
Ⅱ 基於小波和相對矩的形狀特徵提取與匹配
該方法先用小波變換模極大值得到多尺度邊緣影象，然後計算每一尺度的 7個不變矩（注：參考小波矩在影象識別中的應用研究），再轉化為 10 個相對矩，將所有尺度上的相對矩作為影象特徵向量，從而統一了區域和封閉、不封閉結構。
四 ：空間關係特徵
（一）特點：所謂空間關係，是指影象中分割出來的多個目標之間的相互 的空間位置或 相對方向關係，這些關係也可分為連線/鄰接關係、交疊/重疊關係和包含/包容關係等。通常空間位置資訊可以分為兩類：相對空間位置資訊和絕對空間位置資訊。前一種關係強調的是目標之間的相對情況，如上下左右關係等，後一種關係強調的是目標之間的距離大小以及方位。顯而易見，由絕對空間位置可推出相對空間位置，但表達相對空間位置資訊常比較簡單。
空間關係特徵的使用可加強對影象內容的描述區分能力，但空間關係特徵常對影象或目標的旋轉、反轉、尺度變化等比較敏感。另外，實際應用中，僅僅利用空間資訊往往是不夠的，不能有效準確地表達場景資訊。為了檢索，除使用空間關係特徵外，還需要其它特徵來配合。
（二）常用的特徵提取與匹配方法
提取影象空間關係特徵可以有兩種方法：一種方法是首先對影象進行自動分割，劃分出影象中所包含的物件或顏色區域，然後根據這些區域提取影象特徵，並建立索引；另一種方法則簡單地將影象均勻地劃分為若干規則子塊，然後對每個影象子塊提取特徵，並建立索引。
姿態估計問題：
姿態估計問題就是：確定某一三維目標物體的方位指向問題。姿態估計在機器人視覺、動作跟蹤和單照相機定標等很多領域都有應用。
在不同領域用於姿態估計的感測器是不一樣的，在這裡主要講基於視覺的姿態估計。
基於視覺的姿態估計根據使用的攝像機數目又可分為單目視覺姿態估計和多目視覺姿態估計。根據演算法的不同又可分為基於模型的姿態估計和基於學習的姿態估計。
一：基於模型的姿態估計方法
基於模型的方法通常利用物體的幾何關係或者物體的特徵點來估計。其基本思想是利用某種幾何模型或結構來表示物體的結構和形狀，並通過提取某些物體特徵，在模型和影象之間建立起對應關係，然後通過幾何或者其它方法實現物體空間姿態的估計。這裡所使用的模型既可能是簡單的幾何形體，如平面、圓柱，也可能是某種幾何結構，也可能是通過鐳射掃描或其它方法獲得的三維模型。
基於模型的姿態估計方法是通過比對真實影象和合成影象，進行相似度計算更新物體姿態。目前基於模型的方法為了避免在全域性狀態空間中進行優化搜尋，一般都將優化問題先降解成多個區域性特徵的匹配問題，非常依賴於區域性特徵的準確檢測。當噪聲較大無法提取準確的區域性特徵的時候，該方法的魯棒性受到很大影響。
二：基於學習的姿態估計方法
基於學習的方法藉助於機器學習(machine learning)方法，從事先獲取的不同姿態下的訓練樣本中學習二維觀測與三維姿態之間的對應關係，並將學習得到的決策規則或迴歸函式應用於樣本，所得結果作為對樣本的姿態估計。基於學習的方法一般採用全域性觀測特徵，不需檢測或識別物體的區域性特徵，具有較好的魯棒性。其缺點是由於無法獲取在高維空間中進行連續估計所需要的密集取樣，因此無法保證姿態估計的精度與連續性。
基於學習的姿態估計方法源於姿態識別方法的思想。姿態識別需要預先定義多個姿態類別，每個類別包含了一定的姿態範圍；然後為每個姿態類別標註若干訓練樣本，通過模式分類的方法訓練姿態分類器以實現姿態識別。
這一類方法並不需要對物體進行建模，一般通過影象的全域性特徵進行匹配分析，可以有效的避免區域性特徵方法在複雜姿態和遮擋關係情況下出現的特徵匹配歧義性問題。然而姿態識別方法只能將姿態劃分到事先定義的幾個姿態類別中，並不能對姿態進行連續的精確的估計。
基於學習的方法一般採用全域性觀測特徵，可以保證演算法具有較好的魯棒性。然而這一類方法的姿態估計精度很大程度依賴於訓練的充分程度。要想比較精確地得到二維觀測與三維姿態之間的對應關係，就必須獲取足夠密集的樣本來學習決策規則和迴歸函式。而一般來說所需要樣本的數量是隨狀態空間的維度指數級增加的，對於高維狀態空間，事實上不可能獲取進行精確估計所需要的密集取樣。因此，無法得到密集取樣而難以保證估計的精度與連續性，是基於學習的姿態估計方法無法克服的根本困難。
和姿態識別等典型的模式分類問題不同的是，姿態估計輸出的是一個高維的姿態向量，而不是某個類別的類標。因此這一類方法需要學習的是一個從高維觀測向量到高維姿態向量的對映，目前這在機器學習領域中還是一個非常困難的問題。
特徵提取：
特徵是描述模式的最佳方式，且我們通常認為特徵的各個維度能夠從不同的角度描述模式，在理想情況下，維度之間是互補完備的。
特徵提取的主要目的是降維。特徵抽取的主要思想是將原始樣本投影到一個低維特徵空間，得到最能反應樣本本質或進行樣本區分的低維樣本特徵。 （注：特徵的提取希望能得到從樣本分佈到特徵分佈的hash對映，並能儘量減少衝突，從高維度到低緯度的對映，這個過程的建立需要最優化的指導）
一般影象特徵可以分為四類：直觀性特徵、灰度統計特徵、變換系數特徵與代數特徵。
直觀性特徵主要指幾何特徵，幾何特徵比較穩定，受人臉的姿態變化與光照條件等因素的影響小，但不易抽取，而且測量精度不高，與影象處理技術密切相關。
代數特徵是基於統計學習方法抽取的特徵。代數特徵具有較高的識別精度，代數特徵抽取方法又可以分為兩類：一種是線性投影特徵抽取方法；另外一種是非線性特徵抽取方法。
習慣上，將基於主分量分析和Fisher線性鑑別分析所獲得的特徵抽取方法，統稱為線性投影分析。
線性投影分析的特徵抽取方法，其基本思想是根據一定的效能目標來尋找一線性變換，把原始訊號資料壓縮到一個低維子空間，使資料在子空間中的分佈更加緊湊，為資料的更好描述提供手段，同時計算的複雜度得到大大降低。線上性投影分析中，以主分量分析（PCA，或稱K-L變換）和Fisher線性鑑別分析（LDA）最具代表性，圍繞這兩種方法所形成的特徵抽取演算法，已成為模式識別領域中最為經典和廣泛使用的方法。
線性投影分析法的主要缺點為：需要對大量的已有樣本進行學習，且對定位、光照與物體非線性形變敏感，因而採集條件對識別效能影響較大。
非線性特徵抽取方法也是研究的熱點之一。“核技巧”最早應用在SVM中，KPCA和KFA是“核技巧”的推廣應用。
核投影方法的基本思想是將原樣本空間中的樣本通過某種形式（這個某種要靠自己找了...）的非線性對映，變換到一個高維甚至無窮維的空間，並藉助於核技巧在新的空間中應用線性的分析方法求解。由於新空間中的線性方向也對應原樣本空間的非線性方向，所以基於核的投影分析得出的投影方向也對應原樣本空間的非線性方向。
核投影方法也有一些弱點：幾何意義不明確，無法知道樣本在非顯式對映後變成了什麼分佈模式；核函式中引數的選取沒有相應選擇標準，大多數只能採取經驗引數選取；不適合訓練樣本很多的情況，原因是經過核對映後，樣本的維數等於訓練樣本的個數，如果訓練樣本數目很大，核對映後的向量維數將會很高，並將遇到計算量上的難題。
就應用領域來說，KPCA遠沒有PCA應用的廣泛。如果作為一般性的降維KPCA確實比PCA效果好，特別是特徵空間不是一般的歐式空間的時候更為明顯。但PCA可以通過大量的自然圖片學習一個子空間，但是KPCA做不到。
變換系數特徵指先對影象進行Fourier變換、小波變換等，得到的係數後作為特徵進行識別。