前言
大家拍照的時候會用到全景嗎？在拍一個環境的時候還是會有很多人用全景的吧 ，今天教大家如何用Python拼接全景圖片。

影象的全景拼接，即“縫合”兩張具有重疊區域的圖來建立一張全景圖。其中用到了計算機視覺和影象處理技術有：關鍵點特徵檢

測、區域性不變特徵、關鍵特徵點匹配、RANSAC(Random Sample Consensus，隨機取樣一致性)和透視變形。

具體步驟

（1）檢測左右兩張影象的SIFT關鍵特徵點，並提取區域性不變特徵 ；

（2）使用knnMatch檢測來自右圖(左圖)的SIFT特徵，與左圖(右圖)進行匹配 ；

（3）計算視角變換矩陣H，用變換矩陣H對右圖進行扭曲變換；

（4）將左圖(右圖)加入到變換後的影象的左側(右側)獲得最終影象；

程式碼：

Python學習交流Q群：906715085####
import cv2 as cv        # 匯入opencv包
import numpy as np      # 匯入numpy包，影象
處理中的矩陣運算需要用到

#檢測影象的SIFT關鍵特徵點
def sift_keypoints_detect(image):   
 # 處理影象一般很少用到彩色資訊，通常直接將影象轉換為灰度圖    
 gray_image = cv.cvtColor(image,
  cv.COLOR_BGR2GRAY)
    
 
# 獲取影象特徵sift-SIFT特徵點,例項化物件
    sift   
    sift = cv.xfeatures2d.SIFT_create
    ()                
    # keypoints:特徵點向量,向量內的每一個元素
    是一個KeyPoint物件，包含了特徵點的各種屬性資訊(角度、關鍵特徵點座標等)   
     # features:表示輸出的sift特徵向量，通常是
     128維的  
       keypoints, features =
 sift.detectAndCompute(image, None)
 
#cv.drawKeyPoints():在影象的關鍵特徵點部位繪製一個小圓圈   
 

#如果傳遞標誌
 flags=cv.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,它將繪製一個大小為keypoint的圓圈並顯示它的方向    
 # 這種方法同時顯示影象的座標，大小和方向，是最能顯示特徵的一種繪製方式   
  keypoints_image = cv.drawKeypoints(        gray_image, keypoints, None, flags=cv.DRAW_MATCHES_FLAGS_NOT_DRAW_SINGLE_POINTS)
    # 返回帶關鍵特徵點的影象、關鍵特徵點和sift的特徵向量    return keypoints_image, keypoints, features

#使用KNN檢測來自左右影象的SIFT特徵，隨後進行匹配
def get_feature_point_ensemble
(features_right, features_left):    
#建立BFMatcher物件解決匹配    
bf = cv.BFMatcher()   
 # knnMatch()函式：返回每個特徵點的最佳匹配k個匹配點    
 # features_right為模板圖，features_left為匹配圖    
 matches = bf.knnMatch(features_right, features_left, k=2)      
 # 利用sorted()函式對matches物件進行升序(預設)操作    
 matches = sorted(matches, key=lambda x: x[0].distance / x[1].distance)    
 # x:x[]字母可以隨意修改，排序方式按照中括號[]裡面的維度進行排序，[0]按照第一維排序，[2]按照第三維排序
    # 建立列表good用於儲存匹配的點集   
     good = []   
      for m, n in matches:    
      # ratio的值越大，匹配的線條越密集，但錯誤匹配點也會增多        
      ratio = 0.6      
        if m.distance < ratio * n.distance:            
        good.append(m)
    # 返回匹配的關鍵特徵點集    
    return good

#計算視角變換矩陣H，用H對右圖進行變換並返回全景拼接影象
def Panorama_stitching(image_right, 
image_left):   
 _, keypoints_right, features_right = 
 sift_keypoints_detect(image_right)    
 _, keypoints_left, features_left =
  sift_keypoints_detect(image_left)    
  goodMatch = get_feature_point_ensemble
  (features_right, features_left)
    # 當篩選項的匹配對大於4對(因為homography單應性矩陣的計算需要至少四個點)時,計算視角變換矩陣  
      if len(goodMatch) > 4:       
       # 獲取匹配對的點座標       
        ptsR = np.float32(           
         [keypoints_right
         [m.queryIdx].pt for m in 
         goodMatch]).reshape(-1, 1, 2)       
          ptsL = np.float32(            
          [keypoints_left
          [m.trainIdx].pt for m in 
          goodMatch]).reshape(-1, 1, 2)
#ransacReprojThreshold：將點對視為內點的最大允許重投影錯誤閾值(僅用於RANSAC和RHO方法時),若srcPoints和dstPoints是以畫素為單位的，該引數通常設定在1到10的範圍內       
 ransacReprojThreshold = 4
        # cv.findHomography():計算多個二維點對之間的最優單對映變換矩陣 H(3行x3列),使用最小均方誤差或者RANSAC方法        # 函式作用:利用基於RANSAC的魯棒演算法選擇最優的四組配對點，再計算轉換矩陣H(3*3)並返回,以便於反向投影錯誤率達到最小        Homography, status =
 cv.findHomography(           
  ptsR, ptsL, cv.RANSAC, ransacReprojThreshold)
        # cv.warpPerspective()：透視變換函式，用於解決cv2.warpAffine()不能處理視場和影象不平行的問題       
         # 作用：就是對影象進行透視變換，可保持直線不變形，但是平行線可能不再平行      
           Panorama = cv.warpPerspective(           
            image_right, Homography, (image_right.shape[1] + image_left.shape[1], image_right.shape[0]))
        cv.imshow("扭曲變換後的右圖", Panorama)       
         cv.waitKey(0)      
           cv.destroyAllWindows()       
            # 將左圖加入到變換後的右影象的左端即獲得最終影象       
             Panorama[0:image_left.shape[0], 0:image_left.shape[1]] = image_left
        # 返回全景拼接的影象       
         return Panorama

if __name__ == '__main__':
    # 讀取需要拼接的影象,需要注意影象左右的順序   
     image_left = cv.imread("./Left.jpg")   
      image_right = cv.imread("./Right.jpg")
    # 通過呼叫cv2.resize()使用插值的方式來改變影象的尺寸，保證左右兩張影象大小一致  
      # cv.resize()函式中的第二個形參dsize表示輸出影象大小尺寸，當設定為0(None)時，則表示按fx與fy與原始影象大小相乘得到輸出影象尺寸大小 
         image_right = cv.resize(image_right, None, fx=0.4, fy=0.24)  
           image_left = cv.resize(image_left, (image_right.shape[1], image_right.shape[0]))
    # 獲取檢測到關鍵特徵點後的影象的相關引數  
      keypoints_image_right, keypoints_right, features_right = sift_keypoints_detect(image_right)  
        keypoints_image_left, keypoints_left, features_left = sift_keypoints_detect(image_left)
    # 利用np.hstack()函式同時將原圖和繪有關鍵特徵點的影象沿著豎直方向(水平順序)堆疊起來    
    cv.imshow("左圖關鍵特徵點檢測", 
    np.hstack((image_left, keypoints_image_left)))   
     # 一般在imshow後設置 waitKey(0) , 代表按任意鍵繼續   
      cv.waitKey(0)    # 刪除先前建立的視窗   
       cv.destroyAllWindows() 
         cv.imshow("右圖關鍵特徵點檢測", np.hstack((image_right, keypoints_image_right)))   
          cv.waitKey(0)    
          cv.destroyAllWindows() 
             goodMatch = get_feature_point_ensemble(features_right, features_left)
    # cv.drawMatches():在提取兩幅影象特徵之後，畫出匹配點對連線   
     # matchColor – 匹配的顏色（特徵點和連線),若matchColor==Scalar::all(-1),顏色隨機   
     all_goodmatch_image = cv.drawMatches(       
     image_right, keypoints_right, image_left, keypoints_left, goodMatch, None, None, None, None, flags=2)    
     cv.imshow("所有匹配的SIFT關鍵特徵點連線", all_goodmatch_image)   
      cv.waitKey(0)    cv.destroyAllWindows()
    # 把圖片拼接成全景圖並儲存   
     Panorama = Panorama_stitching(image_right, image_left)   
      cv.namedWindow("全景圖", cv.WINDOW_AUTOSIZE)   
       cv.imshow("全景圖", Panorama)    cv.imwrite("./全景圖.jpg", Panorama)   
        cv.waitKey(0)   
         cv.destroyAllWindows()

左圖關鍵特徵點檢測

右圖關鍵特徵點檢測

所有匹配的SIFT關鍵特徵點連線

扭曲變換後的右圖

全景圖

由於輸入的左右影象之間有大量重疊，導致全景圖的主要新增部分是在拼接影象的右側，因此會造成拼接後全景圖右側有大量的黑色空白區域。到這裡就結束這一篇文章了，下一章見啦。