最近玩了一下海康的IPcamera，與普通的WEBcamera輸出RGB影象不同，其解碼後輸出的影象格式為YV12，這使得我們不能用熟悉的兩行程式碼

VideoCapture cap(0); cap << frame;

就獲得可以用opencv直接處理的源影象了，這一度造成了不少麻煩。

所以貼出部分程式碼，希望對正在使用或者也想玩下海康攝像頭的朋友一點參考。

能力有限，若有誤，勿噴！

轉YV12到YCrCb的函式實現有很多，程式碼不知誰寫的，我是從雪水的這篇部落格（超連結）看到的，親測可以實現。

1. void yv12toYUV(char *outYuv, char *inYv12, 
   int width, int height,int widthStep)  
2. {  
3.    int col,row;  
4.    unsigned int Y,U,V;  
5.    int tmp;  
6.    int idx;  
7.    for (row=0; row<height; row++)  
8.    {  
9.       idx=row * widthStep;  
10.       int rowptr=row*width;  
11.       for (col=0; col<width; col++)  
12.       {  
13.          tmp = (row/2)*(width/2)+(col/2);  
14.          Y=(unsigned int) inYv12[row*width+col];  
15.          U=(unsigned int) inYv12[width*height+width*height/4+tmp];  
16.          V=(unsigned int) inYv12[width*height+tmp];  
17.          if((idx+col*3+2)> (1200 * widthStep))  
18.          {  
19.           //printf("row * widthStep=%d,idx+col*3+2=%d.\n",1200 * widthStep,idx+col*3+2);
20.          }   
21.          outYuv[idx+col*3]   = Y;  
22.          outYuv[idx+col*3+1] = U;  
23.          outYuv[idx+col*3+2] = V;  
24.       }  
25.    }  
26. }  

本文推薦用cvtColor()函式，opencv2.4.8以上版本自定義了巨集CV_YUV2BGR_YV12，可以實現這一轉換；

以下是主函式： /*---------------------------- 異常訊息回撥函式 ----------------------------*/ void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser) { char tempbuf[256] = {0}; switch(dwType) { case EXCEPTION_RECONNECT: //預覽時重連 printf("----------reconnect--------%d\n", time(NULL)); break; default: break; } } void main() { //--------------------------------------- // 初始化 NET_DVR_Init(); //設定連線時間與重連時間 NET_DVR_SetConnectTime(2000, 1); NET_DVR_SetReconnect(10000, true); //--------------------------------------- // 獲取控制檯視窗控制代碼 //HMODULE hKernel32 = GetModuleHandle((LPCWSTR)"kernel32"); //GetConsoleWindow = (PROCGETCONSOLEWINDOW)GetProcAddress(hKernel32,"GetConsoleWindow"); //--------------------------------------- // 註冊裝置 LONG lUserID; NET_DVR_DEVICEINFO_V30 struDeviceInfo; lUserID = NET_DVR_Login_V30("10.102.7.88", 8000, "admin", "12345", &struDeviceInfo); if (lUserID < 0) { printf("Login error, %d\n", NET_DVR_GetLastError()); NET_DVR_Cleanup(); return; } //--------------------------------------- //設定異常訊息回撥函式 NET_DVR_SetExceptionCallBack_V30(0, NULL,g_ExceptionCallBack, NULL); /*NET_DVR_RealPlay_V30引數設定 NET_DVR_CLIENTINFO ClientInfo; ClientInfo.hPlayWnd = NULL;//改為“= GetDlgItem(IDC_STATIC_PLAY)->m_hWnd” ClientInfo.lChannel = 1; ClientInfo.lLinkMode = 0; ClientInfo.sMultiCastIP = NULL; TRACE("Channel number:%d\n",ClientInfo.lChannel);*/ //NET_DVR_RealPlay_V40引數設定 NET_DVR_PREVIEWINFO struPlayInfo = {0}; struPlayInfo.hPlayWnd = NULL; //需要SDK解碼時控制代碼設為有效值，僅取流不解碼時可設為空 struPlayInfo.lChannel = 1; //預覽通道號 struPlayInfo.dwStreamType = 0; //0-主碼流，1-子碼流，2-碼流3，3-碼流4，以此類推 struPlayInfo.dwLinkMode = 0; //0- TCP方式，1- UDP方式，2- 多播方式，3- RTP方式，4-RTP/RTSP，5-RSTP/HTTP LONG lRealPlayHandle; //lRealPlayHandle = NET_DVR_RealPlay_V30(lLoginID,&ClientInfo,fRealDataCallBack,NULL,false); lRealPlayHandle = NET_DVR_RealPlay_V40(lLoginID,&struPlayInfo,fRealDataCallBack,NULL); if (lRealPlayHandle<0) { printf("NET_DVR_RealPlay_V30 failed! Error number: %d\n",NET_DVR_GetLastError()); return; } //cvWaitKey(0); Sleep(-1); //fclose(fp); //--------------------------------------- //關閉預覽 if(!NET_DVR_StopRealPlay(lRealPlayHandle)) { printf("NET_DVR_StopRealPlay error! Error number: %d\n",NET_DVR_GetLastError()); return; } //登出使用者 NET_DVR_Logout(lUserID); NET_DVR_Cleanup(); return; } 以下是實時流回調函式fRealDataCallBack：/******************************************** 實時流回調 注：獲得的是資料流，仍需在DecCBFun中解碼 **********************************************/ void CALLBACK fRealDataCallBack(LONG lRealHandle,DWORD dwDataType,BYTE *pBuffer,DWORD dwBufSize,void *pUser) { //TRACE("fRealDataCallBack 函式被呼叫\n"); //TRACE("dwDataType: %ld\n",dwDataType); DWORD dRet; switch (dwDataType) { case NET_DVR_SYSHEAD: //系統頭 //TRACE("系統頭被執行\n"); if (!PlayM4_GetPort(&nPort)) //獲取播放庫未使用的通道號 { break; } if(dwBufSize > 0) { if (!PlayM4_SetStreamOpenMode(nPort, STREAME_REALTIME)) //設定實時流播放模式 { break; } if (!PlayM4_OpenStream(nPort,pBuffer,dwBufSize,10*1024*1024)) { dRet=PlayM4_GetLastError(nPort); break; } PlayM4_SetDecCBStream(nPort,1);//只解碼視訊流，不解音訊流 //設定解碼回撥函式 只解碼不顯示 if (!PlayM4_SetDecCallBack(nPort,DecCBFun)) { dRet=PlayM4_GetLastError(nPort); break; } //開啟視訊解碼 if (!PlayM4_Play(nPort,NULL)) { dRet=PlayM4_GetLastError(nPort); break; } //開啟音訊解碼, 需要碼流是複合流 //if (!PlayM4_PlaySound(nPort)) //{ // dRet=PlayM4_GetLastError(nPort); // break; //} } break; case NET_DVR_STREAMDATA: //碼流資料 //TRACE("碼流資料被執行\n"); if (dwBufSize > 0 && nPort != -1) { BOOL inData = PlayM4_InputData(nPort,pBuffer,dwBufSize); while (!inData) { Sleep(10); inData = PlayM4_InputData(nPort,pBuffer,dwBufSize); } } break; } } 以下是解碼回撥函式，在解碼回撥之前需宣告一個List容器，用以存放幀資料，該List最好定義為全域性變數，便於線上程裡opencv處理。 /*--------------------------------- 解碼回撥函式，幀資料格式轉化，儲存 ---------------------------------*/ void CALLBACK DecCBFun(long nPort,char * pBuf,long nSize,FRAME_INFO * pFrameInfo, long nReserved1,long nReserved2) { //TRACE("DecCBFun 函式被呼叫\n"); long lFrameType = pFrameInfo->nType; //TRACE(" lFrameType: %ld\n", lFrameType); if (lFrameType == T_YV12) { Mat pImg(pFrameInfo->nHeight, pFrameInfo->nWidth, CV_8UC3); Mat pImg_YUV(pFrameInfo->nHeight + pFrameInfo->nHeight / 2, pFrameInfo->nWidth, CV_8UC1, pBuf); Mat pImg_YCrCb(pFrameInfo->nHeight, pFrameInfo->nWidth, CV_8UC3); cvtColor(pImg_YUV, pImg, CV_YUV2BGR_YV12); cvtColor(pImg,pImg_YCrCb,CV_BGR2YCrCb); // Sleep(-1); imshow("IPCamera",pImg); //waitKey(1); //IplImage *pImg1 = &IplImage(pImg); if(!IsTracking){ hEvent = CreateEvent(NULL,false,true,NULL); //InitializeCriticalSection(&cs_frameQueue); } //HANDLE hThread = CreateThread(NULL, 0, dealFun, NULL, 0, NULL); //CloseHandle(hThread); //圖片儲存 //*--------回撥函式當做儲存視訊幀執行緒----------- //ResetEvent(hEvent); //EnterCriticalSection(&cs_frameQueue); realframe_count++; //TRACE("實時幀數: %d\n",realframe_count); if(0 == realframe_count%10) { WaitForSingleObject(hEvent,INFINITE); frameQueue.push_back(pImg_YCrCb); if(!IsTracking){ frameQueue.clear(); } SetEvent(hEvent); } //LeaveCriticalSection(&cs_frameQueue); } } 此處利用解碼回撥函式做視訊格式轉換操作，並將RGB影象存入frameQueue。利用多執行緒程式設計，在另一個執行緒裡用opencv處理影象或其他操作，我這裡是進行跟蹤的，其中，實時幀數realframe_count是用來控制取幀間隔時間的，因為opencv影象處理執行緒會執行相應複雜演算法或者別的操作，時間消耗較大，不可能逐一處理每一幀。執行緒通過一個按鈕開啟，響應函式如下，由於貼的使部分程式碼，請自動忽略無關內容！ void CRealPlayDlg::OnBnClickedButtonTracking() { // TODO: 在此新增控制元件通知處理程式程式碼 cvNamedWindow("frame",0); cvResizeWindow("frame",400,300); cvMoveWindow("frame",420,0); cvNamedWindow("result",0); cvResizeWindow("result",400,300); cvMoveWindow("result",840,0); IsTracking = true; setMouseCallback( "frame", onMouse, 0 );//訊息響應機制 if(IsTracking) { // HANDLE hThread1; // HANDLE hThread2; // hEvent = CreateEvent(NULL,false,true,NULL); // hThread1 = CreateThread(NULL, 0, storeFun, NULL, 0, NULL); //InitializeCriticalSection(&cs_frameQueue); hThread = CreateThread(NULL, 0, dealFun, NULL, 0, NULL); // hMutex = CreateMutex(NULL, FALSE, "imgData"); // CloseHandle(hThread1); CloseHandle(hThread); } 以下為取幀執行緒函式： /*---------------------------------- 影象處理 目標跟蹤 執行緒 ---------------------------------*/ DWORD WINAPI dealFun(LPVOID lpParamter) { while (1) { if (!frameQueue.empty()){ WaitForSingleObject(hEvent, INFINITE); //src = (Mat)(*(frameQueue.begin()));//frameQueue.front(); src_YCrCb = (Mat)(*(frameQueue.begin())); cvtColor(src_YCrCb, src, CV_YCrCb2BGR); frameQueue.pop_front(); SetEvent(hEvent); //your code............ } } return 0; } 到這一步就可以了，另外，在函式中是不需要waitkey來控制幀率的，海康的SDK好像是自動回撥的！