Opencv媒體與GUI---OpenCV的視訊輸入和相似度測量
阿新 • • 發佈：2018-12-16
程式碼
#include <iostream> // for standard I/O #include <string> // for strings #include <iomanip> // for controlling float print precision #include <sstream> // string to number conversion #include <opencv2/imgproc/imgproc.hpp> // Gaussian Blur #include <opencv2/core/core.hpp> // Basic OpenCV structures (cv::Mat, Scalar) #include <opencv2/highgui/highgui.hpp> // OpenCV window I/O using namespace std; using namespace cv; double getPSNR ( const Mat& I1, const Mat& I2); Scalar getMSSIM( const Mat& I1, const Mat& I2); int main(int argc, char *argv[], char *window_name) { if (argc != 5) { cout << "Not enough parameters" << endl; return -1; } stringstream conv; const string sourceReference = argv[1],sourceCompareWith = argv[2]; int psnrTriggerValue, delay; conv << argv[3] << endl << argv[4]; // put in the strings conv >> psnrTriggerValue >> delay;// take out the numbers char c; int frameNum = -1; // Frame counter VideoCapture captRefrnc(sourceReference), captUndTst(sourceCompareWith); if ( !captRefrnc.isOpened()) { cout << "Could not open reference " << sourceReference << endl; return -1; } if( !captUndTst.isOpened()) { cout << "Could not open case test " << sourceCompareWith << endl; return -1; } Size refS = Size((int) captRefrnc.get(CV_CAP_PROP_FRAME_WIDTH), (int) captRefrnc.get(CV_CAP_PROP_FRAME_HEIGHT)), uTSi = Size((int) captUndTst.get(CV_CAP_PROP_FRAME_WIDTH), (int) captUndTst.get(CV_CAP_PROP_FRAME_HEIGHT)); if (refS != uTSi) { cout << "Inputs have different size!!! Closing." << endl; return -1; } const char* WIN_UT = "Under Test"; const char* WIN_RF = "Reference"; // Windows namedWindow(WIN_RF, CV_WINDOW_AUTOSIZE ); namedWindow(WIN_UT, CV_WINDOW_AUTOSIZE ); cvMoveWindow(WIN_RF, 400 , 0); //750, 2 (bernat =0) cvMoveWindow(WIN_UT, refS.width, 0); //1500, 2 cout << "Reference frame resolution: Width=" << refS.width << " Height=" << refS.height << " of nr#: " << captRefrnc.get(CV_CAP_PROP_FRAME_COUNT) << endl; cout << "PSNR trigger value " << setiosflags(ios::fixed) << setprecision(3) << psnrTriggerValue << endl; Mat frameReference, frameUnderTest; double psnrV; Scalar mssimV; while( true) //Show the image captured in the window and repeat { captRefrnc >> frameReference; captUndTst >> frameUnderTest; if( frameReference.empty() || frameUnderTest.empty()) { cout << " < < < Game over! > > > "; break; } ++frameNum; cout <<"Frame:" << frameNum <<"# "; ///////////////////////////////// PSNR //////////////////////////////////////////////////// psnrV = getPSNR(frameReference,frameUnderTest); //get PSNR cout << setiosflags(ios::fixed) << setprecision(3) << psnrV << "dB"; //////////////////////////////////// MSSIM ///////////////////////////////////////////////// if (psnrV < psnrTriggerValue && psnrV) { mssimV = getMSSIM(frameReference,frameUnderTest); cout << " MSSIM: " << " R " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[2] * 100 << "%" << " G " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[1] * 100 << "%" << " B " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[0] * 100 << "%"; } cout << endl; ////////////////////////////////// Show Image ///////////////////////////////////////////// imshow( WIN_RF, frameReference); imshow( WIN_UT, frameUnderTest); c = cvWaitKey(delay); if (c == 27) break; } return 0; } double getPSNR(const Mat& I1, const Mat& I2) { Mat s1; absdiff(I1, I2, s1); // |I1 - I2| s1.convertTo(s1, CV_32F); // cannot make a square on 8 bits s1 = s1.mul(s1); // |I1 - I2|^2 Scalar s = sum(s1); // sum elements per channel double sse = s.val[0] + s.val[1] + s.val[2]; // sum channels if( sse <= 1e-10) // for small values return zero return 0; else { double mse =sse /(double)(I1.channels() * I1.total()); double psnr = 10.0*log10((255*255)/mse); return psnr; } } Scalar getMSSIM( const Mat& i1, const Mat& i2) { const double C1 = 6.5025, C2 = 58.5225; /***************************** INITS **********************************/ int d = CV_32F; Mat I1, I2; i1.convertTo(I1, d); // cannot calculate on one byte large values i2.convertTo(I2, d); Mat I2_2 = I2.mul(I2); // I2^2 Mat I1_2 = I1.mul(I1); // I1^2 Mat I1_I2 = I1.mul(I2); // I1 * I2 /*************************** END INITS **********************************/ Mat mu1, mu2; // PRELIMINARY COMPUTING GaussianBlur(I1, mu1, Size(11, 11), 1.5); GaussianBlur(I2, mu2, Size(11, 11), 1.5); Mat mu1_2 = mu1.mul(mu1); Mat mu2_2 = mu2.mul(mu2); Mat mu1_mu2 = mu1.mul(mu2); Mat sigma1_2, sigma2_2, sigma12; GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5); sigma1_2 -= mu1_2; GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5); sigma2_2 -= mu2_2; GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5); sigma12 -= mu1_mu2; ///////////////////////////////// FORMULA //////////////////////////////// Mat t1, t2, t3; t1 = 2 * mu1_mu2 + C1; t2 = 2 * sigma12 + C2; t3 = t1.mul(t2); // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2)) t1 = mu1_2 + mu2_2 + C1; t2 = sigma1_2 + sigma2_2 + C2; t1 = t1.mul(t2); // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2)) Mat ssim_map; divide(t3, t1, ssim_map); // ssim_map = t3./t1; Scalar mssim = mean( ssim_map ); // mssim = average of ssim map return mssim; }
解釋
- 你需要先定義一個 VideoCapture 類的物件來開啟和讀取視訊流。具體可以通過 constructor 或者通過 open 函式來完成。如果使用整型數當引數的話，就可以將這個物件繫結到一個攝像機，將系統指派的ID號當作引數傳入即可。例如你可以傳入0來開啟第一個攝像機，傳入1開啟第二個攝像機，以此類推。如果使用字串當引數，就會開啟一個由這個字串（檔名）指定的視訊檔案。例如在上面的例子裡傳入如下引數:：
- 前兩個引數傳入了兩個檔名，分別代表原始參考視訊和測試視訊。這裡使用了相對地址，這也代表著系統會從軟體的工作目錄下的video子目錄裡尋找檔案。然後程式將針對這些引數開始進行相似性檢查
- 你可以用 isOpened 函式來檢查視訊是否成功開啟與否:
- 當解構函式呼叫時，會自動關閉視訊。如果你希望提前關閉的話，你可以呼叫 release 函式. 視訊的每一幀都是一幅普通的影象。因為我們僅僅需要從 VideoCapture 物件裡釋放出每一幀影象並儲存成 Mat 格式。因為視訊流是連續的，所以你需要在每次呼叫 read 函式後及時儲存影象或者直接使用過載的>>操作符。
- 如果視訊幀無法捕獲（例如當視訊關閉或者完結的時候），上面的操作就會返回一個空的 Mat 物件。我們可以用下面的程式碼檢查是否返回了空的影象：
- 讀取視訊幀的時候也會自動進行解碼操作。你可以通過呼叫 grab 和 retrieve 函式來顯示地進行這兩項操作。
- 視訊通常擁有很多除了視訊幀影象以外的資訊，像是幀數之類，有些時候資料較短，有些時候用4個位元組的字串來表示。所以 get 函式返回一個double（8個位元組）型別的資料來表示這些屬性。然後你可以使用位操作符來操作這個返回值從而得到想要的整型資料等。這個函式有一個引數，代表著試圖查詢的屬性ID。在下面的例子裡我們會先獲得視訊的尺寸和幀數。
- 當你需要設定這些值的時候你可以呼叫 set 函式。函式的第一個引數是需要設定的屬性ID，第二個引數是需要設定的值，如果返回true的話就表示成功設定，否則就是false。接下來的這個例子很好地展示瞭如何設定視訊的時間位置或者幀數：
- 當我們想檢查壓縮視訊帶來的細微差異的時候，就需要構建一個能夠逐幀比較差視訊差異的系統。最常用的比較演算法是PSNR( Peak signal-to-noise ratio)。這是個使用“區域性均值誤差”來判斷差異的最簡單的方法，假設有這兩幅影象：I1和I2，它們的行列數分別是i，j，有c個通道。
- PSNR公式如下:
- 每個畫素的每個通道的值佔用一個位元組，值域[0,255]。這裡每個畫素會有
個有效的最大值 注意當兩幅影象的相同的話，MSE的值會變成0。這樣會導致PSNR的公式會除以0而變得沒有意義。所以我們需要單獨的處理這樣的特殊情況。此外由於畫素的動態範圍很廣，在處理時會使用對數變換來縮小範圍。這些變換的C++程式碼如下: - 在考察壓縮後的視訊時，這個值大約在30到50之間，數字越大則表明壓縮質量越好。如果影象差異很明顯，就可能會得到15甚至更低的值。PSNR演算法簡單，檢查的速度也很快。但是其呈現的差異值有時候和人的主觀感受不成比例。所以有另外一種稱作 結構相似性 的演算法做出了這方面的改進。
-
Scalar getMSSIM( const Mat& i1, const Mat& i2) { const double C1 = 6.5025, C2 = 58.5225; /***************************** INITS **********************************/ int d = CV_32F; Mat I1, I2; i1.convertTo(I1, d); // 不能在單位元組畫素上進行計算，範圍不夠。 i2.convertTo(I2, d); Mat I2_2 = I2.mul(I2); // I2^2 Mat I1_2 = I1.mul(I1); // I1^2 Mat I1_I2 = I1.mul(I2); // I1 * I2 /***********************初步計算 ******************************/ Mat mu1, mu2; // GaussianBlur(I1, mu1, Size(11, 11), 1.5); GaussianBlur(I2, mu2, Size(11, 11), 1.5); Mat mu1_2 = mu1.mul(mu1); Mat mu2_2 = mu2.mul(mu2); Mat mu1_mu2 = mu1.mul(mu2); Mat sigma1_2, sigma2_2, sigma12; GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5); sigma1_2 -= mu1_2; GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5); sigma2_2 -= mu2_2; GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5); sigma12 -= mu1_mu2; ///////////////////////////////// 公式 //////////////////////////////// Mat t1, t2, t3; t1 = 2 * mu1_mu2 + C1; t2 = 2 * sigma12 + C2; t3 = t1.mul(t2); // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2)) t1 = mu1_2 + mu2_2 + C1; t2 = sigma1_2 + sigma2_2 + C2; t1 = t1.mul(t2); // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2)) Mat ssim_map; divide(t3, t1, ssim_map); // ssim_map = t3./t1; Scalar mssim = mean( ssim_map ); // mssim = ssim_map的平均值 return mssim; }正是這個原因，最開始的原始碼裡，我們用PSNR演算法去計算每一幀影象，而僅當PSNR演算法計算出的結果低於輸入值的時候，用SSIM演算法去驗證。為了展示資料，我們在例程裡用兩個視窗顯示了原影象和測試影象並且在控制檯上輸出了PSNR和SSIM資料。
