【視覺-立體視覺】立體匹配幾種演算法效能比較
OpenCV三種立體匹配求視差圖演算法總結
對OpenCV中涉及的三種立體匹配演算法進行程式碼及各自優缺點總結:
首先我們看一下BM演算法:
該演算法程式碼:
- CvStereoBMState *BMState = cvCreateStereoBMState();
- int SADWindowSize=15;
- BMState->SADWindowSize = SADWindowSize > 0 ? SADWindowSize : 9;
- BMState->minDisparity = 0;
-
BMState->numberOfDisparities = 32;
- BMState->textureThreshold = 10;
- BMState->uniquenessRatio = 15;
- BMState->speckleWindowSize = 100;
- BMState->speckleRange = 32;
- BMState->disp12MaxDiff = 1;
- cvFindStereoCorrespondenceBM( left, right, left_disp_,BMState);
-
cvNormalize( left_disp_, left_vdisp, 0, 256, CV_MINMAX );
其中minDisparity是控制匹配搜尋的第一個引數,代表了匹配搜蘇從哪裡開始,numberOfDisparities表示最大搜索視差數uniquenessRatio表示匹配功能函式,這三個引數比較重要,可以根據實驗給予引數值。
該方法速度最快,一副320*240的灰度圖匹配時間為31ms,視差圖如下。
第二種方法是SGBM方法這是OpenCV的一種新演算法:
- cv::StereoSGBM sgbm;
- sgbm.preFilterCap = 63;
- int SADWindowSize=11;
-
int cn = 1;
- sgbm.SADWindowSize = SADWindowSize > 0 ? SADWindowSize : 3;
- sgbm.P1 = 4*cn*sgbm.SADWindowSize*sgbm.SADWindowSize;
- sgbm.P2 = 32*cn*sgbm.SADWindowSize*sgbm.SADWindowSize;
- sgbm.minDisparity = 0;
- sgbm.numberOfDisparities = 32;
- sgbm.uniquenessRatio = 10;
- sgbm.speckleWindowSize = 100;
- sgbm.speckleRange = 32;
- sgbm.disp12MaxDiff = 1;
- sgbm(left , right , left_disp_);
- sgbm(right, left , right_disp_);
各引數設定如BM方法,速度比較快,320*240的灰度圖匹配時間為78ms,視差效果如下圖。
第三種為GC方法:
- CvStereoGCState* state = cvCreateStereoGCState( 16, 2 );
- left_disp_ =cvCreateMat( left->height,left->width, CV_32F );
- right_disp_ =cvCreateMat( right->height,right->width,CV_32F );
- cvFindStereoCorrespondenceGC( left, right, left_disp_, right_disp_, state, 0 );
- cvReleaseStereoGCState( &state );
該方法速度超慢,但效果超好。
各方法理論可以參考文獻
BM、GC、SGBM三種演算法的比較和BM在OpenCV3下的引數設定
第一部分BM、GC和SGBM演算法的效能比較轉自:http://blog.csdn.net/chenyusiyuan/article/details/5967291,其中原博主推薦的Stefano Mattoccia大神的講義Stereo Vision:algorithms and applications,我看了以後覺得非常受用,講的非常條理全面,裡面的參考文獻也很經典。第二部分為原創,主要是在OpenCV3.2版本下BM演算法的用法改變和引數說明。
1.BM、GC和SGBM演算法效能比較:
(1)視差效果:BM<SGBM<GC;
(2)處理速度:BM>SGBM>GC;
(3)影象型別:BM和GC演算法只能對8位灰度影象計算視差,SGBM演算法可以處理24位彩色影象;
(4) SGBM 立體匹配演算法(源自Heiko Hirschmuller的《Stereo Processing by Semi-global Matching and Mutual Information》),可以獲得比 BM 演算法物體輪廓更清晰的視差圖(但低紋理區域容易出現橫/斜紋路,在 GCstate->fullDP 選項使能時可消減這種異常紋路,但對應區域視差變為0,且執行速度會有所下降),速度比 BM 稍慢, 352*288的幀處理速度大約是 5 幀/秒;
2.OpenCV3中BM演算法的使用更新:
在OpenCV3中,StereoBM演算法發生了比較大的變化,StereoBM被定義為純虛類,因此不能直接例項化,只能用智慧指標的形式例項化,也不用StereoBMState類來設定了,而是改成用bm->set...的形式,詳細看如下程式碼。
- //BM(bidirectional matching)演算法進行雙向匹配,首先通過匹配代價在右圖中計算得出匹配點。
- //然後相同的原理及計算在左圖中的匹配點。比較找到的左匹配點和源匹配點是否一致,如果是,則匹配成功。
- //初始化 stereoBMstate 結構體
- //錯誤:不允許使用抽象型別的stereoBM物件
- //C++中含有純虛擬函式並且所有純虛擬函式並未完全實現的類稱為抽象類,它不能生成物件
- //opencv3以後的版本不能這麼用了
- //StereoBM bm;
- //int unitDisparity = 15;//40
- //int numberOfDisparities = unitDisparity * 16;
- //bm.state->roi1 = roi1;
- //bm.state->roi2 = roi2;
- //bm.state->preFilterCap = 13;
- //bm.state->SADWindowSize = 19;
- //bm.state->minDisparity = 0;
- //bm.state->numberOfDisparities = numberOfDisparities;
- //bm.state->textureThreshold = 1000;
- //bm.state->uniquenessRatio = 1;
- //bm.state->speckleWindowSize = 200;
- //bm.state->speckleRange = 32;
- //bm.state->disp12MaxDiff = -1;
- cv::Ptr<cv::StereoBM>bm = cv::StereoBM::create();
- int unitDisparity = 15;//40
- int numberOfDisparities = unitDisparity * 16;
- bm->setROI1(roi1);
- bm->setROI2 (roi2);
- bm->setPreFilterCap(13);
- bm->setBlockSize = 15; //SAD視窗大小
- bm->setMinDisparity(0); //確定匹配搜尋從哪裡開始 預設值是0
- bm->setNumDisparities(numberOfDisparities) ; //在該數值確定的視差範圍內進行搜尋,視差視窗
- // 即最大視差值與最小視差值之差, 大小必須是16的整數倍
- bm->setTextureThreshold(1000); //保證有足夠的紋理以克服噪聲
- bm->setUniquenessRatio(1); //使用匹配功能模式
- bm->setSpeckleWindowSize(200); //檢查視差連通區域變化度的視窗大小, 值為0時取消 speckle 檢查
- bm->setSpeckleRange(32); // 視差變化閾值,當視窗內視差變化大於閾值時,該視窗內的視差清零
- bm->setDisp12MaxDiff(-1); //左視差圖(直接計算得出)和右視差圖(通過cvValidateDisparity計算得出)
- // 之間的最大容許差異,預設為-1
最後需要注意的是,在上述引數中,對視差生成效果影響較大的主要引數是setSADWindowSize、setNumberDisparities和setUniquenessRatio,這三個引數要重點關注和調整。其他引數的影響不算很大。
http://www.cnblogs.com/xrwang/archive/2010/04/29/stereosgbmandsetwindowproperty.html模擬人的兩隻眼睛的Stereo相機最近變得很受歡迎。通過對stereo相機拍攝的左右兩張圖進行匹配找出視差圖,可以還原物體的3D資訊。立體匹配(Stereo matching)的步驟如下:
1: 預處理:亮度歸一化,去噪,影象增強,濾波等等 2: 匹配Cost計算Cost aggregation 每個畫素點的matching cost可用下圖所示的兩種方式表示 將所有畫素的Cost加起來,選擇和最小的方案。 3: 全域性最優化 4: 後處理:Refinement 精化 一般基於畫素點的匹配含有較大的噪音,所以人們更願意使用基於區域性或全域性的匹配演算法。常用的立體匹配演算法可分為基於區域性的匹配方法和基於全域性的匹配方法。 (1)基於區域性的匹配演算法:塊匹配,模板匹配,SIFT[1],SURF[2],AKAZE[3] (2)基於全域性的匹配演算法:首先定義Cost Function,然後根據約束條件優化Cost Function.- Dynamic Programming
- Scaling Optimization
- Graph Cuts
- Belief Propagation:Markov Random Field
在這裡簡單介紹後兩種全域性匹配演算法: 1:Graph Cut: 將每一個畫素看作Graph中的一個Node,然後假設該圖有L個不同的深度值,則新增L個 新的Node作為Label,然後求視差圖的問題就變成了多重Labelling的問題了,具體Graph Cut參照文 獻[4]。 2:Belief Propagation: 將影象看作馬爾科夫隨機場,則求視差問題變成了最大化聯合後驗概率的問題, 每一個畫素對其深度值的猜測來自於其鄰居給的資訊,然後再把資訊傳給其他的鄰居。每一個資訊有 一個可靠度(概率)。最後經過多次迴圈深度值會收斂。 [2]Herbert Bay,Tinne Tuytelaars, and Luc Van Gool,SURF: Speeded Up Robust Features,ECCV,2006 [4]Yuri Boykov and Vladimir Kolmogorov (2003), "Computing Geodesics and Minimal Surfaces via Graph Cuts" OpenCV提供了以下四種立體匹配演算法的函式:
- Block Matching(BM) StereoBM
- Semi-Global Block Matching(SGBM) StereoSGBM
- Graph Cut(GC)cvStereoGCState()
- Dynamic Programming(DP)cvFindStereoCorrespondence()
- 左相鄰畫素disparity取值為d時,其最小的cost值。
- 左相鄰畫素disparity取值為d-1時,其最小的cost值+懲罰1。
- 左相鄰畫素disparity取值為d+1時,其最小的cost值+懲罰1。
- 左相鄰畫素disparity取值為其他時,其最小的cost值+懲罰2。
匹配結果如下: 精度與速度統計圖如下: