2. 程式人生 > >Kinect2.0之使用KinectSDK自帶的KinectStudio進行資料採集

Kinect2.0之使用KinectSDK自帶的KinectStudio進行資料採集

阿新 • • 發佈：2019-02-05

去年一直襬弄Kinect2.0，發現二代Kinect和一代存在差別較大，採集程式也大致不一樣了。

在這裡我主要是介紹兩種採集方法，一種是基於KinectSDK驅動直接採集的，能夠採集到深度圖和彩色圖。第二種是採用OPENNI2間接驅動KinectSDK進行採集，能夠採集到ONI格式的視訊。這篇博文我主要介紹怎麼採用KinectSDK Studio分別採集RGB資訊和深度資訊。

下面C++程式碼段是在一個執行緒中採用深度生成器IFrameDescription *pDepthDescription和RGB生成器IFrameDescription *pColorDescription進行資料的生成和儲存。

其中RGB資訊主要用6個顏色vector進行儲存，深度資訊主要通過構建深度Map進行儲存。其中因為SDK採集到的顏色格式並不是傳統的RGB，所以需要對顏色空間進行轉換。

void CKinectStudio::ReceiveStudioMessage(WPARAM wParam, LPARAM lParam)
{
	p_StudioFatherHwnd = (HWND)lParam;
	BSTR b = (BSTR)wParam;
	CString videoPath(b);
	SysFreeString(b);
	////////////////////////////////////////////////////////////////
	int depth_width, depth_height, color_width, color_height;
	//深度RGB定義															 
	IKinectSensor* m_pKinectSensor = NULL;
	IDepthFrameReader*  m_pDepthFrameReader = NULL;
	IColorFrameReader*  m_pColorFrameReader = NULL;
	IDepthFrameSource* pDepthFrameSource = NULL;
	IColorFrameSource* pColorFrameSource = NULL;
	HRESULT hr;

	//建立上下文
	hr = GetDefaultKinectSensor(&m_pKinectSensor);
	//開啟Kinect
	hr = m_pKinectSensor->Open();
	//建立map
	ICoordinateMapper* pCoordinateMapper;
	hr = m_pKinectSensor->get_CoordinateMapper(&pCoordinateMapper);
	//開啟深度生成器
	hr = m_pKinectSensor->get_DepthFrameSource(&pDepthFrameSource);
	hr = pDepthFrameSource->OpenReader(&m_pDepthFrameReader);
	IFrameDescription* pDepthDescription;
	hr = pDepthFrameSource->get_FrameDescription(&pDepthDescription);
	pDepthDescription->get_Width(&depth_width); // 512
	pDepthDescription->get_Height(&depth_height); // 424
	SafeRelease(pDepthFrameSource);
	//開啟RGB生成器
	hr = m_pKinectSensor->get_ColorFrameSource(&pColorFrameSource);
	hr = pColorFrameSource->OpenReader(&m_pColorFrameReader);
	IFrameDescription* pColorDescription;
	hr = pColorFrameSource->get_FrameDescription(&pColorDescription);
	pColorDescription->get_Width(&color_width); // 1920
	pColorDescription->get_Height(&color_height);//1080
	SafeRelease(pColorFrameSource);

	Mat depthImg_show = Mat::zeros(depth_height, depth_width, CV_8UC3);//原始UINT16 深度影象不適合用來顯示
	Mat depthImg = Mat::zeros(depth_height, depth_width, CV_16UC1);
	Mat colorImg = Mat::zeros(color_height, color_width, CV_8UC3);
	Mat m_BodyIndex = Mat::zeros(depth_height, depth_width, CV_8UC1);

	//獲取視訊資訊的快取區
	UINT nBufferSize_depth = 0;
	UINT16 *pBuffer_depth = NULL;
	UINT nBufferSize_coloar = 0;
	RGBQUAD *pBuffer_color = NULL;
	RGBQUAD* m_pColorRGBX = new RGBQUAD[color_width * color_height];

	std::vector<UINT16> depthBuffer(depth_width * depth_height);
	std::vector<RGBQUAD> colorBuffer(color_width * color_height);
	IBodyIndexFrameSource* pBodyIndexFrameSource = NULL;
	IBodyIndexFrameReader*  m_pBodyIndexFrameReader = NULL;
	HRESULT hrBodyIndex;
	hrBodyIndex = m_pKinectSensor->get_BodyIndexFrameSource(&pBodyIndexFrameSource);
	hrBodyIndex = pBodyIndexFrameSource->OpenReader(&m_pBodyIndexFrameReader);
	HRESULT hResult = S_OK;

	// Source
	IBodyIndexFrameSource* pBodyIndexSource;
	hResult = m_pKinectSensor->get_BodyIndexFrameSource(&pBodyIndexSource);
	// Reader
	IBodyIndexFrameReader* pBodyIndexReader;
	hResult = pBodyIndexSource->OpenReader(&pBodyIndexReader);
	cv::Mat bodyIndexMat(424, 512, CV_8UC3);
	cv::Vec3b color[6];
	color[0] = cv::Vec3b(255, 0, 0);
	color[1] = cv::Vec3b(0, 255, 0);
	color[2] = cv::Vec3b(0, 0, 255);
	color[3] = cv::Vec3b(255, 255, 0);
	color[4] = cv::Vec3b(255, 0, 255);
	color[5] = cv::Vec3b(0, 255, 255);

	PointCloud* pPointCloud = new PointCloud[SumFrame];
	for (int i = 0; i < SumFrame; i++)
	{
		(pPointCloud + i)->arryX = new float[424 * 512];
		memset((pPointCloud + i)->arryX, 0, 424 * 512);
		(pPointCloud + i)->arryY = new float[424 * 512];
		(pPointCloud + i)->arryZ = new float[424 * 512];
		memset((pPointCloud + i)->arryY, 0, 424 * 512);
		memset((pPointCloud + i)->arryZ, 0, 424 * 512);
	}
	int nFrame = 0;
	while (1)
	{
		IDepthFrame* pDepthFrame = NULL;
		IColorFrame* pColorFrame = NULL;
		USHORT nDepthMinReliableDistance = 0;
		USHORT nDepthMaxReliableDistance = 0;
		//獲取深度資訊
		HRESULT hrDepth = m_pDepthFrameReader->AcquireLatestFrame(&pDepthFrame);
		if (FAILED(hrDepth))
		{
			continue;
		}
		hrDepth = pDepthFrame->get_DepthMinReliableDistance(&nDepthMinReliableDistance);
		hrDepth = pDepthFrame->get_DepthMaxReliableDistance(&nDepthMaxReliableDistance);
		hrDepth = pDepthFrame->AccessUnderlyingBuffer(&nBufferSize_depth, &pBuffer_depth);
		hrDepth = pDepthFrame->CopyFrameDataToArray(depthBuffer.size(), &depthBuffer[0]);
		depthImg_show = ConvertMat(pBuffer_depth, depth_width, depth_height, nDepthMinReliableDistance, nDepthMaxReliableDistance);
		SafeRelease(pDepthFrame);
		//獲取RGB資訊
		HRESULT hrColor = m_pColorFrameReader->AcquireLatestFrame(&pColorFrame);
		if (FAILED(hrColor))
		{
			continue;
		}
		ColorImageFormat imageFormat = ColorImageFormat_None;
		hrColor = pColorFrame->get_RawColorImageFormat(&imageFormat);
		pBuffer_color = m_pColorRGBX;
		hrColor = pColorFrame->CopyConvertedFrameDataToArray(color_width * color_height * sizeof(RGBQUAD),
			reinterpret_cast<BYTE*>(pBuffer_color), ColorImageFormat_Bgra);
		colorImg = ConvertMat(pBuffer_color, color_width, color_height);
		SafeRelease(pColorFrame);
		IBodyIndexFrame* pBodyIndexFrame = NULL;
		hrBodyIndex = m_pBodyIndexFrameReader->AcquireLatestFrame(&pBodyIndexFrame);
		if (FAILED(hrBodyIndex))
		{
			continue;
		}
		UINT uSize = 0;
		BYTE* pBodyIndexBuffer = NULL;
		pBodyIndexFrame->AccessUnderlyingBuffer(&uSize, &pBodyIndexBuffer);
		for (int y = 0; y < depth_height; ++y)
		{
			for (int x = 0; x < depth_width; ++x)
			{
				DepthSpacePoint depthSpacePoint = { static_cast<float>(x), static_cast<float>(y) };
				UINT16 depth = depthBuffer[y * depth_width + x];
				CameraSpacePoint cameraSpacePoint = { 0.0f, 0.0f, 0.0f };
				pCoordinateMapper->MapDepthPointToCameraSpace(depthSpacePoint, depth, &cameraSpacePoint);
				int uBodyIdx = x + y * depth_width;
				if (pBodyIndexBuffer[uBodyIdx] != 0xff) {
					bodyIndexMat.at<cv::Vec3b>(y, x) = color[pBodyIndexBuffer[uBodyIdx]];
				}
				else {
					bodyIndexMat.at<cv::Vec3b>(y, x) = cv::Vec3b(0, 0, 0);
				}
				if (pBodyIndexBuffer[uBodyIdx] < 6 && (cameraSpacePoint.X > NAGATIVE && cameraSpacePoint.Y > NAGATIVE && cameraSpacePoint.Z > NAGATIVE))
				{
					(pPointCloud + nFrame)->arryX[x + y*depth_height] = cameraSpacePoint.X;
					(pPointCloud + nFrame)->arryY[x + y*depth_height] = cameraSpacePoint.Y;
					(pPointCloud + nFrame)->arryZ[x + y*depth_height] = cameraSpacePoint.Z;
				}
				else
				{
					(pPointCloud + nFrame)->arryX[x + y*depth_height] = 0;
					(pPointCloud + nFrame)->arryY[x + y*depth_height] = 0;
					(pPointCloud + nFrame)->arryZ[x + y*depth_height] = 0;
				}
			}
			if (g_SaveKinectStudio == TRUE)
			{
			::PostMessage(p_StudioFatherHwnd, WM_UPDATE_PROGRESSBAR, (WPARAM)nFrame, (LPARAM)0);
				if (nFrame == 150-1)
				{
					nFrame = 0;
					g_SaveKinectStudio = FALSE;
					for (int i = 0; i < SumFrame; i++)
					{
						::PostMessage(p_StudioFatherHwnd, WM_UPDATE_PROGRESSBAR, (WPARAM)i, (LPARAM)0);
						CString btemp;
						btemp.Format(_T("%d"), i);
						CString txtPath = videoPath +btemp+ _T(".txt");
						CStringA nameA(txtPath);
						char* tempnameA = new char[MAX_PATH];
						memset(tempnameA, 0, MAX_PATH);
						memcpy(tempnameA, nameA.GetBuffer(), strlen(nameA));
						std::ofstream out(tempnameA);
						if (out.is_open())
						{
							for (int y = 0; y < depth_height; ++y)
							{
								for (int x = 0; x < depth_width; ++x)
								{
									if ((pPointCloud + i)->arryX[x + y*depth_height] == 0 && (pPointCloud + i)->arryY[x + y*depth_height] == 0 && (pPointCloud + i)->arryZ[x + y*depth_height] == 0)
									{
										continue;
									}
									else
									{
										out << (pPointCloud + i)->arryX[x + y*depth_height] << " " << (pPointCloud + i)->arryY[x + y*depth_height] << " " << (pPointCloud + i)->arryZ[x + y*depth_height] << endl;
									}
								}
							}
						}
						out.close();
					}
					::PostMessage(p_StudioFatherHwnd, WM_UPDATE_PROGRESSBAR, (WPARAM)0, (LPARAM)0);
				}
			}
		}
		SafeRelease(pBodyIndexFrame);
		resize(colorImg, colorImg, depthImg_show.size());
		BGRImage = &IplImage(colorImg);
		BodyImage = &IplImage(bodyIndexMat);
		if (g_SaveKinectStudio == TRUE) 
		{
			/*char namefile[50];
			CTime tm = CTime::GetCurrentTime();
			CString strBKNum;
			strBKNum.Format(_T("%u"), tm.GetTime());
			strBKNum = _T("F:\\資料11\\") + strBKNum + _T(".jpg");
			gr_save_image(strBKNum, BodyImage);*/
			nFrame++;
		}
		::PostMessage(p_StudioFatherHwnd, WM_SHOW_RGBIMG, (WPARAM)BGRImage, (LPARAM)0);
		::PostMessage(p_StudioFatherHwnd, WM_SHOW_DEPTHIMG, (WPARAM)BodyImage, (LPARAM)1);
		Sleep(20);
	}
	SafeRelease(m_pBodyIndexFrameReader);
	SafeRelease(m_pDepthFrameReader);
	SafeRelease(m_pColorFrameReader);
	if (m_pKinectSensor)
	{
		m_pKinectSensor->Close();
	}
	SafeRelease(m_pKinectSensor);
	//gr_init_studio(videoPath);
}
下面程式片段是儲存圖片的程式
void CKinectStudio::gr_save_image(CString &strImageName, IplImage* img)
{
	CStringA name(strImageName);
	char* tempname = new char[MAX_PATH];
	memset(tempname, 0, MAX_PATH);
	memcpy(tempname, name.GetBuffer(), strlen(name));
	cvSaveImage(tempname, img);
	delete tempname;
}
下面是釋放Kinect2.0上下文，深度生成器和RGB生成器的資源的函式。
template<class Interface>
inline void CKinectStudio::SafeRelease(Interface *& pInterfaceToRelease)
{
	if (pInterfaceToRelease != NULL) {
		pInterfaceToRelease->Release();
		pInterfaceToRelease = NULL;
	}
}
下面是影象從IPlmage轉換到Mat的過程函式。
// 轉換color影象到cv::Mat
Mat CKinectStudio::ConvertMat(const RGBQUAD* pBuffer, int nWidth, int nHeight)
{
	//cv::Mat img(nHeight, nWidth, CV_8UC3);
	Mat img(nHeight, nWidth, CV_8UC3);
	uchar* p_mat = img.data;
	const RGBQUAD* pBufferEnd = pBuffer + (nWidth * nHeight);
	while (pBuffer < pBufferEnd)
	{
		*p_mat = pBuffer->rgbBlue;
		p_mat++;
		*p_mat = pBuffer->rgbGreen;
		p_mat++;
		*p_mat = pBuffer->rgbRed;
		p_mat++;
		++pBuffer;
	}
	return img;
}
下面是深度圖Map轉換成Mat的過程函式。
// 轉換depth影象到cv::Mat
Mat CKinectStudio::ConvertMat(const UINT16* pBuffer, int nWidth, int nHeight, USHORT nMinDepth, USHORT nMaxDepth)
{
	Mat img(nHeight, nWidth, CV_8UC3);
	uchar* p_mat = img.data;
	const UINT16* pBufferEnd = pBuffer + (nWidth * nHeight);
	while (pBuffer < pBufferEnd)
	{
		USHORT depth = *pBuffer;
		BYTE intensity = static_cast<BYTE>((depth >= nMinDepth) && (depth <= nMaxDepth) ? (depth % 256) : 0);
		*p_mat = intensity;
		p_mat++;
		*p_mat = intensity;
		p_mat++;
		*p_mat = intensity;
		p_mat++;
		++pBuffer;
	}
	return img;
}
以上這些主要利用了Kinect2.0的SDK驅動進行採集深度資訊和RGB。並並不能儲存ONI格式的視訊流。要儲存食品類格式需要自己利用OPENNI2驅動Kinect2.0。

下一篇博文會寫到這種方法。

以下是Kinect的樣圖



相關推薦

Kinect2.0之使用KinectSDK自帶的KinectStudio進行資料採集

去年一直襬弄Kinect2.0，發現二代Kinect和一代存在差別較大，採集程式也大致不一樣了。 在這裡我主要是介紹兩種採集方法，一種是基於KinectSDK驅動直接採集的，能夠採集到深度圖和彩色圖。第二種是採用OPENNI2間接驅動KinectSDK進行採集，能夠採集到O

通過zabbix自帶api進行主機的批量添加操作

3.2 name 批量添加 監控 界面 eth 實例化 fail 我們 通過zabbix自帶api進行批量添加主機 我們需要監控一臺服務器的時候，當客戶端裝好zabbix-agent端並正確配置以後，需要在zabbix-server的web gui界面進行添加zabbix

Zabbix4.0.1使用自帶模板監控Linux主機基本選項（CPU、記憶體、硬碟、網絡卡）

zabbix_agent 端            ip : 192.168.1.206      hostname:  www.test3.com   1、新增主機  

sklearn 學習實踐之——基於自帶資料集（波士頓房價、鳶尾花、糖尿病等）構建分類、迴歸模型

      只要是接觸機器學習的，很少有沒聽過sklearn的，這個真的可以稱得上是機器學習快速進行的神器了，在研究生的時候搭建常用的機器學習模型用的就是sklearn，今天應部門的一些需求，簡單的總結了一點使用方法，後面還會繼續更新，今天僅使用sklearn自帶的資料

JUC之JDK自帶鎖StampedLock

一、初見 StampedLock是JDK 1.8的一把新鎖，同樣出自Doug Lee之手。這貨高階了，出身顯赫、自帶光環，有著光輝的使命。她是一把不一樣的鎖，前面我們所整理過的兩把鎖(ReentantLock&ReentrantReadWriteLock)都是基於AQS框架實

JUC之JDK自帶鎖ReentrantReadWriteLock

一、Hello World! Java紀年1.5年，ReentrantReadWriteLock誕生於J·U·C。此後，國人一般稱它為讀寫鎖。人如其名，人如其名，她就是一個可重入鎖，同時她還是一個讀、寫鎖。 1.1 跟ReentrantLock並沒有親屬關係 因為Reentr

JUC之JDK自帶鎖ReentrantLock

一、初識 ReentrantLock 出身自Java 1.5，中文名可重入鎖 是Java JDK自帶獨佔鎖的唯一實現，也是最常用的鎖，是synchronized的升級版。 1. 我們中間有個synchronized 我們已經認識過synchronized了，知道她能幫我

PHP標準規範之-composer 自帶autoload使用【最簡單、最底層的用法】

文章目錄 一、手冊、參考檔案 二、composer下載、安裝、初始化、下載composer自帶autoload 三、如何使用這個autoload 重點： 注意：

Windows之系統自帶截屏快捷鍵

圖像 點擊 截取 window ctr bsp 自動 功能 打開 Windows之系統自帶截屏快捷鍵 　　現在我們都習慣了使用QQ截屏，但是有時候電腦沒有網絡，也就意味著無法登陸QQ，在這個時候再有截屏的需求時，我們就束手無策了。 　　截取全屏 　　現在我說以個Win

學習kinect2.0 之colorBasics-WPF

/*基於Kinect開發的應用程式最開始需要用到的物件就是KinectSensor物件，          * 該物件直接表示Kinect硬體裝置。KinectSensor物件是我們想要獲取資料，          * 包括彩色影像資料，景深資料和骨骼追蹤資料的源頭。             從Kinect

Win7+Qt5.10.0 +MSVC2013 bit64(此編譯器為Qt5.10.0安裝包自帶)+opencv3.0.0配置

 筆記目的：最近想實現VS2013中和Qt中都能使用OpenCV，由於之前都是在MinGW編譯器下使用的OpenCV3.0.0。由於MinGW編譯器和MSVC2013 bit64編譯器對於OpenCV庫的呼叫是不一樣的，Mingw編譯器使用OpenCV時需要使用CMake工具將OpenCV進行重新編譯（另一

Hadoop3.0.3叢集自帶WordCount程式測試MapRedece

Hadoop3.0.3自帶的例項程式路徑在 /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar中

Eclipse雜記之遮蔽自帶的ant外掛

eclipse裡面自帶ant外掛，但是有的時候專案編譯只能用特定版本的ant，比如openfire專案，只能用ant1.6.x或者ant1.7.x編譯。 這時候就要修改eclipse的ant了。 步驟如下： Windows---Preferences---Ant---Run

IntelliJ Idea使用自帶svn進行版本控制

關於本地建立的工程通過IntelliJ Idea自動的svn進行提交可參考http://blog.csdn.net/yangfengjueqi/article/details/79084389本片記錄其他協同人員從svn獲取程式碼以及後續的開發。1）File --> N

C#利用微軟自帶庫進行中文繁體和簡體之間的轉換的代碼

button region str pub eve nta 微軟 strings args 做工程之余，將做工程過程比較重要的代碼備份一次，如下資料是關於C#利用微軟自帶庫進行中文繁體和簡體之間的轉換的代碼，應該是對碼農有所幫助。 protected void Butto

【原創】windows 7 通過系統自帶工具進行MD5 SHA1 SHA256 校驗oracle 19c 安裝文件

home windows oracle pan sha linu color 示例 md5 windows 7 通過系統自帶工具進行MD5 SHA1 SHA256 校驗oracle 19c 安裝文件 工具：certutil 用法：certutil -hashfil

python使用自帶SVM，資料集iris

轉至：https://www.cnblogs.com/luyaoblog/p/6775342.html 和Python3不是很相容，改了一部分 import numpy as np from sklearn import svm import matplotlib as mpl impo

微信小程式之前端與java後臺進行資料互動

最近小程式挺火的，準備寫個小程式試試，我會將我遇到的問題和我認為有用的記錄下來，但是隻瞭解java，並不太懂PHP,雖然說語言都是相通的（我也不知道誰說的）,反正還是用Java寫後臺吧，1.申請伺服器+域名3.準備使用ssm框架進行後臺開發，先進行前端後臺資料互動試試後臺ja

RecyclerView自帶bug,切換資料出現IndexOutOfBoundsException

今天在APP在執行的時候，突然閃退了一下，檢視日誌看到了異常情況 看到java.lang.IndexOutOfBoundsException還以為是下標越界，檢查了一遍程式碼，沒發現什麼不合理的地方，於是又重新運行了一遍，重新按剛才操作來了一遍，再次出現這

一步步教您學會大資料採集之“什麼值得買”推薦商品資料採集教程

本文主要介紹如何使用后羿採集器的智慧模式，免費採集“什麼值得買”商品價格、圖片、標題及推薦人等資訊。 採集工具簡介： 后羿採集器是一款基於人工智慧技術的網路爬蟲工具，只需要輸入網址就能夠自動識別網頁資料，無需配置即可完成資料採集，是業內首家支援三種作業系統（包括Windows、Mac和Linux