Harris角點檢測

阿新 • • 發佈：2021-06-22

https://www.cnblogs.com/zyly/p/9508131.html

OpenCV可以檢測影象的主要特徵，然後提取這些特徵、使其成為影象描述符，這類似於人的眼睛和大腦。這些影象特徵可作為影象搜尋的資料庫。此外，人們可以利用這些關鍵點將影象拼接起來，組成一個更大的影象，比如將許多影象放在一塊，然後形成一個360度全景影象。

這裡我們將學習使用OpenCV來檢測影象特徵，並利用這些特徵進行影象匹配和搜尋。我們會選取一些影象，並通過單應性，檢測這些影象是否在另一張影象中。

回到頂部

一特徵檢測演算法

有許多用於特徵檢測和提取的演算法，我們將會對其中大部分進行介紹。OpenCV最常使用的特徵檢測和提取演算法有：

Harris：該演算法用於檢測角點；
SIFT：該演算法用於檢測斑點；
SURF：該演算法用於檢測角點；
FAST：該演算法用於檢測角點；
BRIEF：該演算法用於檢測斑點；
ORB：該演算法代表帶方向的FAST演算法與具有旋轉不變性的BRIEF演算法；

通過以下方法進行特徵匹配：

暴力(Brute-Force)匹配法；

基於FLANN匹配法；

可以採用單應性進行空間驗證。

回到頂部

二特徵定義

那麼，究竟什麼是特徵呢？為什麼一副影象的某個特定區域可以作為一個特徵，而其他區域不能呢？粗略的講，特徵就是有意義的影象區域，該區域具有獨特特徵和易於識別性。因此角點及高密度區域都是很好的特徵，而大量重複的模式或低密度區域(例如影象中的藍色天空)則不是很好的特徵。邊緣可以將影象分為兩個區域，因此也可以看做好的特徵。斑點是與周圍有很大差別的畫素區域，也是有意義的特徵。

大多數特徵檢測演算法都會涉及影象的角點、邊和斑點的識別，也有一些涉及脊向的概念，可以認為脊向是細長物體的對稱軸，例如識別影象中的一條路。角點和邊都好理解，那什麼是斑點呢？斑點通常是指與周圍有著顏色和灰度差別的區域。在實際地圖中，往往存在著大量這樣的斑點，如一顆樹是一個斑點，一塊草地是一個斑點，一棟房子也可以是一個斑點。由於斑點代表的是一個區域，相比單純的角點，它的穩定性要好，抗噪聲能力要強，所以它在影象配準上扮演了很重要的角色。

由於某些演算法在識別和提取某型別特徵的時候有較好的效果，所以知道輸入影象是什麼很重要，這樣做有利於選擇最合適的OpenCV工具包。

回到頂部

三 Harris檢測角點特徵

在這之前其實我們已經接觸過角點檢測了，在相機標定的時候，我們就利用到了角點檢測。不過那時候沒有深入的去研究。在這裡，我們將會深入原理去學習角點檢測。

下面我們從使用cornerHarris()函式講起。

cornerHarris(src, blockSize, ksize,k[,dst[,borderType]]);

引數詳解:

image:輸入的單通道8位或者浮點影象；
blockSize：就是掃描時候視窗的大小。
ksize：cornerHarris函式會使用Sobel運算元，該引數定義了Sobel運算元的中孔。簡單來說，該函式定義了角點檢測的敏感度，其值必須介於3~31之間的奇數。
k：harris 計算響應公式中的
borderType：畫素插值方法；

函式 cornerHarris 對輸入影象進行 Harris 邊界檢測。輸出是一幅浮點值影象，大小與輸入影象大小相同，浮點值越高，表明越可能是特徵角點(我們可以對影象進行閾值化)。

# -*- coding: utf-8 -*-
"""
Created on Mon Aug 20 20:17:34 2018

@author: lenovo
"""

'''
Harris角點檢測
'''
import cv2
import numpy as np

img = cv2.imread('./image/cali.bmp')
img = cv2.resize(img,dsize=(600,400))
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
gray = np.float32(gray)
#角點檢測 第三個引數為角點檢測的敏感度，其值必須介於3~31之間的奇數
dst = cv2.cornerHarris(gray,3,23,0.04)
print(dst.shape)  #(400, 600)
img[dst>0.01*dst.max()] = [0,0,255]
cv2.imshow('',img)
cv2.waitKey(0)
cv2.destroyAllWindows()

執行結果如下：

如果我們把第三個引數改為3:，可以看到：

回到頂部

四 Harris檢測原理

上面我們已經通過例項演示了Harris檢測的效果，相信你對Harris角點檢測已經有了初步的認識。這裡我將帶你深入瞭解Harris角點檢測的原理。

我們先來看一幅圖片，瞭解一下什麼是角點？

上圖中E,F中的角我們通常稱作角點（corner points），他們具有以下特徵：

輪廓之間的交點；
對於同一場景，即使視角發生變化，通常具備穩定性質的特徵；
該點附近區域的畫素點無論在梯度方向上還是其梯度幅值上有著較大變化；

harris特徵角最早在paper A Combined Corner and Edge Detector中被Chris Harris & Mike Stephens提出。

Harris角點檢測的基本思想：演算法基本思想是使用一個固定視窗在影象上進行任意方向上的滑動，比較滑動前與滑動後兩種情況，視窗中的畫素灰度變化程度，如果存在任意方向上的滑動，都有著較大灰度變化，那麼我們可以認為該視窗中存在角點。

1、灰度變化描述

當視窗發生

E (u, v) = \sum_{(x, y) € W} w (x, y) [I (x + u, y + v) - I (x, y)]^{2}

引數解釋：

我們的視窗函式通常有如下兩種形式：

根據上述表示式，當視窗在平潭區域上移動，可以想象得到，灰度不會發生什麼變換。

2、

首先需要了解泰勒公式，任何一個函式表示式，均可有泰勒公式進行展開，以逼近原函式，我們可以對下面函式進行一階展開(如果對泰勒公式忘記了，可以翻翻本科所學的高等數學)。

f (x + u, y + v) \approx f (x, y) + u f_{x} (x, y) + v f_{y} (x, y)

那麼

\sum_{(x, y) € W} w (x, y) [I (x + u, y + v) - I (x, y)]^{2}

\approx \sum_{(x, y) € W} w (x, y) [I (x, y) + u I_{x} + v I_{y} - I (x, y)]^{2}

= \sum_{(x, y) € W} w (x, y) [u^{2} I_{x}^{2} + 2 u v I_{x} I_{y} + v^{2} I_{y}^{2}]

= \sum_{(x, y) € W} w (x, y) [\begin{matrix} u & v \end{matrix}] [\begin{matrix} I_{x}^{2} & I_{x} I y \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}] [\begin{matrix} u \\ v \end{matrix}]

= [\begin{matrix} u & v \end{matrix}] (\sum_{(x, y) € W} w (x, y) [\begin{matrix} I_{x}^{2} & I_{x} I y \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}]) [\begin{matrix} u \\ v \end{matrix}]

所以

E (u, v) = [\begin{matrix} u & v \end{matrix}] M [\begin{matrix} u \\ v \end{matrix}]

其中：

3、矩陣

難道我們是直接求上述的

下圖是對這三種情況視窗中的對應畫素的梯度分佈進行繪製：

不知道大家有沒有注意到這三種區域的特點:

平坦區域上的每個畫素點所對應的
邊緣區域有一座標軸分佈較散，至於是哪一個座標上的資料分佈較散不能一概而論，這要視邊緣在影象上的具體位置而定，如果邊緣是水平或者垂直方向，那麼
角點區域的

我們是不是可以根據這些特徵來判斷哪些區域存在角點呢？

上面我們已經計算出了

我們可以將

E (u, v) = A u^{2} + 2 C u v + B v^{2}

其中

A = \sum_{(x, y) € W} w (x, y) * I_{x}^{2}

B = \sum_{(x, y) € W} w (x, y) * I_{y}^{2}

C = \sum_{(x, y) € W} w (x, y) * I_{x} I_{y}

二次項函式本質上就是一個橢圓函式。橢圓的長和寬是由

[\begin{matrix} u & v \end{matrix}] M [\begin{matrix} u \\ v \end{matrix}] = 1

如果使用橢圓進行資料集表示，則繪製圖示如下：

雖然我們利用

把

\bar{I_{x}} = \sum_{i = 1}^{m} I_{x i}

\bar{I_{y}} = \sum_{i = 1}^{m} I_{y i}

我們仍然使用

X = [\begin{matrix} I_{x 1} & I_{x 2} & . . . & I_{x m} \\ I_{y 1} & I_{y 2} & . . . & I_{y m} \end{matrix}]

則對應協方差矩陣可以寫成：

C = \frac{1}{m} X X^{T} = \frac{1}{m} \sum_{i = 1}^{m} [\begin{matrix} I_{x}^{2} & I_{x} I y \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}]

但矩陣

M = \sum_{(x, y) € W} [\begin{matrix} I_{x}^{2} & I_{x} I y \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}]

如果我們對協方差矩陣

如果兩個欄位
如果是平坦區域，那麼畫素點的梯度所構成的點集比較集中在原點附近，因為視窗區域內的畫素點的梯度幅值非常小，此時矩陣
如果是邊緣區域，在計算畫素點的

注：

因此可以得出下列結論：

特徵值都比較大時，即視窗中含有角點；
特徵值一個較大，一個較小，視窗中含有邊緣；
特徵值都比較小，視窗處在平坦區域；

4、如何度量角點響應

通常用下面表示式進行度量，對每一個視窗計算得到一個分數

R = d e t (M) - k (t r a c e (M))^{2}

d e t (M) = λ_{1} λ_{2}

t r a c e (M) = λ_{1} + λ_{2}

這裡

但是為什麼會使用這樣的表示式呢？一下子是不是感覺很難理解？其實也不難理解，函式表示式一旦出來，我們就可以繪製它的影象，而這個函式圖形正好滿足上面幾個區域的特徵。通過繪製函式影象，直觀上更能理解。繪製的

所以說難點不在於理解這個函式表示式，而在於如何創造出這個函式表示式。Harris也許對很多函式模型非常瞭解，對於創造出這樣的一個函式表示式，易如反掌，當然在我們看來感覺是很了不起的，那是因為我們見過的函式模型太少。

最後設定R的閾值，進行角點判斷。當然其中還有些後處理步驟就不再說了，比如說角點的極大值抑制等。

非極大值抑制的原理，在一個視窗內，如果有很多角點則用值最大的那個角點，其他的角點都刪除。

注意：有些朋友在問是如何通過矩陣判斷角點的？其實上面，我們已經推匯出

回到頂部

五自己實現Harris角點檢測

Harris角點檢測可以分為5個步驟：

1、計算影象

I_{x} = \frac{\partial I}{\partial x} = I \times [\begin{matrix} - 1 & 0 & 1 \end{matrix}]

I_{y} = \frac{\partial I}{\partial y} = I \times {[\begin{matrix} - 1 & 0 & 1 \end{matrix}]}^{T}

2、計算影象兩個方向梯度的乘積;

I_{x}^{2} = I_{x} * I_{x}

I_{y}^{2} = I_{y} * I_{y}

I_{x} I_{y} = I_{x} * I_{y}

3、使用高斯函式對

A = \sum_{(x, y) € W} g (I_{x}^{2}) = \sum_{(x, y) € W} I_{x}^{2} * w (x, y)

B = \sum_{(x, y) € W} g (I_{y}^{2}) = \sum_{(x, y) € W} I_{y}^{2} * w (x, y)

C = \sum_{(x, y) € W} g (I_{x} I_{y}) = \sum_{(x, y) € W} I_{x} I_{y} * w (x, y)

其中

4、計算每個畫素點

R = d e t (M) - k (t r a c e (M))^{2}

5、過濾大於某一閾值

R = {R : d e t (M) - k (t r a c e (M))^{2} > t}

如果需要在3×3或者5×5的鄰域進行非最大值抑制，則區域性最大值點即為影象中的角點。

以上所有公式*表示逐畫素點乘。

# -*- coding: utf-8 -*-
"""
Created on Mon Aug 20 20:17:34 2018

@author: lenovo
"""

'''
Harris角點檢測
'''
import cv2
import numpy as np

def test():
    '''
    呼叫系統庫函式進行測試
    '''
    img = cv2.imread('./image/cali.bmp')
    img = cv2.resize(img,dsize=(600,400))
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    gray = np.float32(gray)
    #角點檢測 第三個引數為角點檢測的敏感度，其值必須介於3~31之間的奇數
    dst = cv2.cornerHarris(gray,3,3,0.04)
    print(dst.shape)  #(400, 600)
    img[dst>0.01*dst.max()] = [0,0,255]
    cv2.imshow('',img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    
def harris_detect(img,ksize=3):
    '''
    自己實現角點檢測
    
    params:
        img:灰度圖片
        ksize：Sobel運算元視窗大小
        
    return：
        corner：與源影象一樣大小，角點處畫素值設定為255
    '''
    k = 0.04                 #響應函式k
    threshold = 0.01         #設定閾值  
    WITH_NMS = False         #是否非極大值抑制
    
    
    #1、使用Sobel計算畫素點x,y方向的梯度
    h,w = img.shape[:2]
    #Sobel函式求完導數後會有負值，還有會大於255的值。而原影象是uint8，即8位無符號數，所以Sobel建立的影象位數不夠，會有截斷。因此要使用16位有符號的資料型別，即cv2.CV_16S。
    grad = np.zeros((h,w,2),dtype=np.float32)
    grad[:,:,0] = cv2.Sobel(img,cv2.CV_16S,1,0,ksize=3)
    grad[:,:,1] = cv2.Sobel(img,cv2.CV_16S,0,1,ksize=3)

    #2、計算Ix^2,Iy^2,Ix*Iy 
    m = np.zeros((h,w,3),dtype=np.float32)
    m[:,:,0] = grad[:,:,0]**2
    m[:,:,1] = grad[:,:,1]**2
    m[:,:,2] = grad[:,:,0]*grad[:,:,1]
        
    #3、利用高斯函式對Ix^2,Iy^2,Ix*Iy進行濾波
    m[:,:,0] = cv2.GaussianBlur(m[:,:,0],ksize=(ksize,ksize),sigmaX=2)    
    m[:,:,1] = cv2.GaussianBlur(m[:,:,1],ksize=(ksize,ksize),sigmaX=2)
    m[:,:,2] = cv2.GaussianBlur(m[:,:,2],ksize=(ksize,ksize),sigmaX=2)    
    m = [np.array([[m[i,j,0],m[i,j,2]],[m[i,j,2],m[i,j,1]]]) for i in range(h) for j in range(w)]
    
    #4、計算區域性特徵結果矩陣M的特徵值和響應函式R(i,j)=det(M)-k(trace(M))^2  0.04<=k<=0.06
    D,T = list(map(np.linalg.det,m)),list(map(np.trace,m))
    R = np.array([d-k*t**2 for d,t in zip(D,T)])

    #5、將計算出響應函式的值R進行非極大值抑制，濾除一些不是角點的點，同時要滿足大於設定的閾值
    #獲取最大的R值
    R_max = np.max(R)    
    #print(R_max)
    #print(np.min(R))
    R = R.reshape(h,w)
    corner = np.zeros_like(R,dtype=np.uint8)
    for i in range(h):
        for j in range(w):
            if WITH_NMS:
                #除了進行進行閾值檢測 還對3x3鄰域內非極大值進行抑制(導致角點很小，會看不清)
                if R[i,j] > R_max*threshold and R[i,j] == np.max(R[max(0,i-1):min(i+2,h-1),max(0,j-1):min(j+2,w-1)]):
                    corner[i,j] = 255
            else:
                #只進行閾值檢測
                if R[i,j] > R_max*threshold :
                    corner[i,j] = 255   
    return corner
    
if __name__=='__main__':
    img = cv2.imread('./image/cali.bmp')
    img = cv2.resize(img,dsize=(600,400))
    #轉換為灰度影象
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    dst = harris_detect(gray)
    print(dst.shape)  #(400, 600)
    img[dst>0.01*dst.max()] = [0,0,255]
    cv2.imshow('',img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

執行效果如下：

回到頂部

六 Harries角點的性質

1、引數

假設已經得到了矩陣

d e t M = \prod_{i} λ_{i}

t r a c e (M) = \sum_{i} λ_{i}

從而可以得到角點的響應：

R = λ_{1} λ_{2} - k (λ_{1} + λ_{2})^{2} = λ_{1}^{2} (α - k (1 + α)^{2})

假設

0 \leq k \leq \frac{α}{(1 + α)^{2}} \leq 0.25

對於較小的

由此，可以得出這樣的結論，增大

2、Harris角點檢測運算元對亮度和對比度的變化不靈敏

這是因為在進行Harris角點檢測時，使用了微分運算元對影象進行微分運算，而微分運算對影象密度的拉昇或收縮和對亮度的抬高或下降不敏感。換言之，對亮度和對比度的仿射變換並不改變Harris響應的極值點出現的位置，但是，由於閾值的選擇，可能會影響角點檢測的數量。

左圖表示亮度變化，右圖表示對比度變化。

3、Harris角點檢測運算元具有旋轉不變性

Harris角點檢測運算元使用的是角點附近的區域灰度二階矩矩陣。而二階矩矩陣可以表示成一個橢圓，橢圓的長短軸正是二階矩矩陣特徵值平方根的倒數。當特徵橢圓轉動時，特徵值並不發生變化，所以判斷角點響應值

4.、Harris角點檢測運算元不具有尺度不變性

如下圖所示，當影象被縮小時，在檢測視窗尺寸不變的前提下，在視窗內所包含影象的內容是完全不同的。左側的影象可能被檢測為邊緣或曲線，而右側的影象則可能被檢測為一個角點。

參考文獻：

[1]OpenCV教程(43) harris角的檢測(1)

[6]『Python』Harris角點檢測程式碼實現

[7]斑點檢測

[8]Harris原理及原始碼解析(C++)

Harris角點檢測

一特徵檢測演算法

二特徵定義

三 Harris檢測角點特徵

四 Harris檢測原理

1、灰度變化描述

2、

3、矩陣

4、如何度量角點響應

五自己實現Harris角點檢測

六 Harries角點的性質

1、引數

2、Harris角點檢測運算元對亮度和對比度的變化不靈敏

3、Harris角點檢測運算元具有旋轉不變性

4.、Harris角點檢測運算元不具有尺度不變性

OpenCV哈里斯(Harris)角點檢測的實現

MATLAB Harris角點檢測

python 實現Harris角點檢測演算法

Harris角點檢測

Shi-Tomasi角點檢測

亞畫素級角點檢測

OpenCV3入門（十二）角點檢測

python opencv角點檢測連線功能的實現程式碼

Fast角點檢測

Python - opencv (九）角點檢測

OpenCV使用goodFeaturesToTrack實現角點檢測

Apritag角點程式碼檢測

自定義角點檢測器

MATLAB FAST特徵點檢測

地圖的鐳射點檢測定位

基於RNN自編碼器的離群點檢測

特徵點檢測、目標檢測

拓端tecdat|R語言平滑演算法LOESS區域性加權迴歸、三次樣條、變化點檢測擬合電視節目《白宮風雲》線上收視率

Scikit-learn實戰之 SVM迴歸分析、密度估計、異常點檢測

angula中使用iframe點選後不執行變更檢測的問題

Harris角點檢測

一 特徵檢測演算法

二 特徵定義

三 Harris檢測角點特徵

四 Harris檢測原理

1、灰度變化描述

2、E(u,v)E(u,v)化簡

3、矩陣MM的關鍵性

4、如何度量角點響應

五 自己實現Harris角點檢測

六 Harries角點的性質

1、引數kk對角點檢測的影響

2、Harris角點檢測運算元對亮度和對比度的變化不靈敏

3、Harris角點檢測運算元具有旋轉不變性

4.、Harris角點檢測運算元不具有尺度不變性

相關推薦

一特徵檢測演算法

二特徵定義

2、

3、矩陣

五自己實現Harris角點檢測

1、引數