2. 程式人生 > >OpenCV簡單粗糙的指尖檢測方法（FingerTips Detection）

OpenCV簡單粗糙的指尖檢測方法（FingerTips Detection）

阿新 • • 發佈：2018-11-16

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow

也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！

               

       在人機互動領域，如果可以比較好的檢測指尖，對於互動的豐富度、靈活性來說是有很大提升的。目前指尖檢測的方法也很多，我這裡稍微嘗試了下簡單了兩種。這兩種方法都藉助了手的幾何特徵，簡單但比較粗糙，魯棒性不夠。

 

方法一：重心距離法

        見下圖，紅色點是手的重心，那麼手的邊緣的所有點與重心點的距離按順時針方向或者逆時針方向遍歷，就會出現五個峰值，分別是五個手指，這樣我們就可以簡單找到了。如果你是隻伸出一兩個手指，那麼就只有一兩個峰值了。

簡單的程式碼如下：

1、對影象做高斯模糊；

2、膚色分割（背景不要有類膚色，如果有，就需要加其他資訊來排除干擾）；

3、找到手輪廓；

4、計算矩，即重心；

5、尋找指尖。

// Simple FingerTips Detection  
 
// Author : Zouxy  // Date   : 2013-3-23  // HomePage : http://blog.csdn.net/zouxy09  // Email  : [email protected]    #include "opencv2/opencv.hpp"    using namespace cv;  using namespace std;    void skinExtract(const Mat &frame, Mat &skinArea)
 
;    int main(int argc, char* argv[])  {      Mat frame, skinArea;      VideoCapture capture;        capture.open(0);      if (!capture.isOpened())      {          cout<<"No camera!\n"<<endl;          return -1;      }        while (1)      {          capture >> frame;          //Mat frame = imread("fingertips(1).jpg");          if (frame.empty())              break;            skinArea.create(frame.rows, frame.cols, CV_8UC1);          skinExtract(frame, skinArea);          Mat show_img;          frame.copyTo(show_img, skinArea);            vector<vector<Point> > contours;          vector<Vec4i> hierarchy;            //尋找輪廓          findContours(skinArea, contours, hierarchy, CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE);            // 找到最大的輪廓          int index;          double area, maxArea(0);          for (int i=0; i < contours.size(); i++)          {              area = contourArea(Mat(contours[i]));              if (area > maxArea)              {                  maxArea = area;                  index = i;              }                     }            //drawContours(frame, contours, index, Scalar(0, 0, 255), 2, 8, hierarchy );                    Moments moment = moments(skinArea, true);          Point center(moment.m10/moment.m00, moment.m01/moment.m00);          circle(show_img, center, 8 ,Scalar(0, 0, 255), CV_FILLED);            // 尋找指尖          vector<Point> couPoint = contours[index];          vector<Point> fingerTips;          Point tmp;          int max(0), count(0), notice(0);          for (int i = 0; i < couPoint.size(); i++)          {              tmp = couPoint[i];              int dist = (tmp.x - center.x) * (tmp.x - center.x) + (tmp.y - center.y) * (tmp.y - center.y);              if (dist > max)              {                  max = dist;                  notice = i;              }                // 計算最大值保持的點數，如果大於40（這個值需要設定，本來想根據max值來設定，              // 但是不成功，不知道為何），那麼就認為這個是指尖              if (dist != max)              {                  count++;                  if (count > 40)                  {                      count = 0;                      max = 0;                      bool flag = false;                      // 低於手心的點不算                      if (center.y < couPoint[notice].y )                          continue;                      // 離得太近的不算                      for (int j = 0; j < fingerTips.size(); j++)                      {                          if (abs(couPoint[notice].x - fingerTips[j].x) < 20)                          {                              flag = true;                              break;                          }                      }                      if (flag) continue;                      fingerTips.push_back(couPoint[notice]);                      circle(show_img, couPoint[notice], 6 ,Scalar(0, 255, 0), CV_FILLED);                      line(show_img, center, couPoint[notice], Scalar(255, 0, 0), 2);                               }              }          }            imshow("show_img", show_img);            if ( cvWaitKey(20) == 'q' )              break;      }        return 0;  }    //膚色提取，skinArea為二值化膚色影象  void skinExtract(const Mat &frame, Mat &skinArea)  {      Mat YCbCr;      vector<Mat> planes;        //轉換為YCrCb顏色空間      cvtColor(frame, YCbCr, CV_RGB2YCrCb);      //將多通道影象分離為多個單通道影象      split(YCbCr, planes);         //運用迭代器訪問矩陣元素      MatIterator_<uchar> it_Cb = planes[1].begin<uchar>(),                          it_Cb_end = planes[1].end<uchar>();      MatIterator_<uchar> it_Cr = planes[2].begin<uchar>();      MatIterator_<uchar> it_skin = skinArea.begin<uchar>();        //人的面板顏色在YCbCr色度空間的分佈範圍:100<=Cb<=127, 138<=Cr<=170      for( ; it_Cb != it_Cb_end; ++it_Cr, ++it_Cb, ++it_skin)      {          if (138 <= *it_Cr &&  *it_Cr <= 170 && 100 <= *it_Cb &&  *it_Cb <= 127)              *it_skin = 255;          else              *it_skin = 0;      }        //膨脹和腐蝕，膨脹可以填補凹洞（將裂縫橋接），腐蝕可以消除細的凸起（“斑點”噪聲）      dilate(skinArea, skinArea, Mat(5, 5, CV_8UC1), Point(-1, -1));      erode(skinArea, skinArea, Mat(5, 5, CV_8UC1), Point(-1, -1));  }

方法二：曲率分析法

       見下圖，可以看到，在指尖和兩指之間的凹槽的曲率是最大的。假設手的輪廓是通過一系列點{Pi}來儲存的，那麼我們可以通過 [Pi, Pi-k] 和 [Pi, Pi+k] 兩個向量的內積（點乘）來尋找高曲率的點，如下圖的Φ和β的計算結果，因為他們的兩個向量的夾角趨向於90度，也就是它們的內積趨向於0，所以內積結果越小，曲率越大，我們只需要設定一個閾值，就可以把手的指尖和兩指之間的凹槽都可以找到。

       那麼如何分辨指尖和兩指之間的凹槽呢？我們可以通過兩個向量的叉乘來計算，我們想象下手處於3D空間中，那麼就還有一個z方向，β中兩個向量的叉乘是大於0的（叉乘方向垂直紙面朝向你，z軸正方向），而Φ處的叉乘是小於0的（叉乘方向垂直紙面遠離你，z軸負方向）。

        綜上，通過在每個點上構造兩個向量，比較他們的點乘和叉乘就可以確定指尖了。

簡單的程式碼如下：

1、對影象做高斯模糊；

2、膚色分割（背景不要有類膚色，如果有，就需要加其他資訊來排除干擾）；

3、找到手輪廓；

4、尋找指尖。

// Simple FingerTips Detection Using Curvature Determination  // Author : Zouxy  // Date   : 2013-3-23  // HomePage : http://blog.csdn.net/zouxy09  // Email  : [email protected]    #include "opencv2/opencv.hpp"    using namespace cv;  using namespace std;    void skinExtract(const Mat &frame, Mat &skinArea);    int main(int argc, char* argv[])  {      Mat frame, skinArea;      VideoCapture capture;        capture.open(0);      if (!capture.isOpened())      {          cout<<"No camera!\n"<<endl;          return -1;      }        while (1)      {          capture >> frame;          //Mat frame = imread("fingertips(1).jpg");          if (frame.empty())              break;            GaussianBlur(frame, frame, Size(3, 3), 0);          skinArea.create(frame.rows, frame.cols, CV_8UC1);          skinExtract(frame, skinArea);          Mat show_img;          frame.copyTo(show_img, skinArea);            vector<vector<Point> > contours;          vector<Vec4i> hierarchy;            //尋找輪廓          findContours(skinArea, contours, hierarchy, CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE);            // 找到最大的輪廓          int index;          double area, maxArea(0);          for (int i=0; i < contours.size(); i++)          {              area = contourArea(Mat(contours[i]));              if (area > maxArea)              {                  maxArea = area;                  index = i;              }                     }            //drawContours(frame, contours, index, Scalar(0, 0, 255), 2, 8, hierarchy );                    Moments moment = moments(skinArea, true);          Point center(moment.m10/moment.m00, moment.m01/moment.m00);          circle(show_img, center, 8 ,Scalar(0, 0, 255), CV_FILLED);            // 尋找指尖          vector<Point> couPoint = contours[index];          int max(0), count(0), notice(0);          vector<Point> fingerTips;          Point p, q, r;          for (int i = 5; (i < (couPoint.size() - 5)) && couPoint.size(); i++)          {              q = couPoint[i - 5];              p = couPoint[i];              r = couPoint[i + 5];              int dot = (q.x - p.x ) * (q.y - p.y) + (r.x - p.x ) * (r.y - p.y);              if (dot < 20 && dot > -20)              {                  int cross = (q.x - p.x ) * (r.y - p.y) - (r.x - p.x ) * (q.y - p.y);                  if (cross > 0)                  {                      fingerTips.push_back(p);                      circle(show_img, p, 5 ,Scalar(255, 0, 0), CV_FILLED);                      line(show_img, center, p, Scalar(255, 0, 0), 2);                      }              }          }            imshow("show_img", show_img);            if ( cvWaitKey(20) == 'q' )              break;      }        return 0;  }    //膚色提取，skinArea為二值化膚色影象  void skinExtract(const Mat &frame, Mat &skinArea)  {      Mat YCbCr;      vector<Mat> planes;        //轉換為YCrCb顏色空間      cvtColor(frame, YCbCr, CV_RGB2YCrCb);      //將多通道影象分離為多個單通道影象      split(YCbCr, planes);         //運用迭代器訪問矩陣元素      MatIterator_<uchar> it_Cb = planes[1].begin<uchar>(),                          it_Cb_end = planes[1].end<uchar>();      MatIterator_<uchar> it_Cr = planes[2].begin<uchar>();      MatIterator_<uchar> it_skin = skinArea.begin<uchar>();        //人的面板顏色在YCbCr色度空間的分佈範圍:100<=Cb<=127, 138<=Cr<=170      for( ; it_Cb != it_Cb_end; ++it_Cr, ++it_Cb, ++it_skin)      {          if (138 <= *it_Cr &&  *it_Cr <= 170 && 100 <= *it_Cb &&  *it_Cb <= 127)              *it_skin = 255;          else              *it_skin = 0;      }        //膨脹和腐蝕，膨脹可以填補凹洞（將裂縫橋接），腐蝕可以消除細的凸起（“斑點”噪聲）      dilate(skinArea, skinArea, Mat(5, 5, CV_8UC1), Point(-1, -1));      erode(skinArea, skinArea, Mat(5, 5, CV_8UC1), Point(-1, -1));  } 

效果：



 

           

給我老師的人工智慧教程打call！http://blog.csdn.net/jiangjunshow

這裡寫圖片描述

相關推薦

OpenCV簡單粗糙的指尖檢測方法（FingerTips Detection）

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

【 專欄 】- 目標檢測實踐（object detection）

目標檢測實踐（object detection） 本專欄致力於實踐並總結目標檢測各種經典的模型，如：R-CNN，SPP-Net，Fast-RCNN，Faster-RCNN，YOLO，Mask-RCNN等。

從頭認識Spring-3.8 簡單的AOP日誌實現（註解版）-擴展添加檢查訂單功能，以便記錄並檢測輸入的參數

this proxy snippet 輸入 name util java framework -i 這一章節我們討論一下擴展添加檢查訂單功能，以便記錄並檢測輸入的參數。1.domain蛋糕類：package com.raylee.my_new_spring.my_new

設計模式（2）——建立型——工廠相關：簡單工廠（Simple factory），工廠方法（Factory method），抽象工廠（Abstract factory）

概要 這裡試圖描述23個設計模式中的兩個工廠（Factory）相關的設計模式：工廠方法（Factorymethod），抽象工廠（Abstract factory）。 注意點： 這兩個都屬於建立型設計模式。 由於這兩個設計模式都

【設計模式-4】工廠模式（簡單工廠，工廠方法，抽象工廠）

簡單工廠模式（Simple Factory）   簡單工廠模式(Simple Factory Pattern)：又稱為靜態工廠方法(Static Factory Method)模式。在簡單工廠模式中，可以根據引數的不同返回不同類的例項。簡單工廠模式專門定義一個類來負責建立其

迴文數—簡單方法（C語言）

迴文數即正反讀都是相同的數，如151、12321等，但不要忘了，個位數與0也是迴文數，雖然這不影響我們程式碼。 題目要求：輸入n組資料，每組資料判斷是否為迴文數，是的話輸出各位數和，不是輸出no； 既然正反都是相同，許多同學用了兩個陣列進行正反比對，但我認為我的方法更為簡易。程式碼如下。

工廠模式（簡單工廠、工廠方法、抽象工廠）

簡單工廠模式 定義 簡單工廠模式又稱靜態工廠方法模式，它是由一個工廠角色統一建立不同的物件，但這些物件都繼承自同一個類。 結構 1.工廠角色：根據傳入不同的引數，例項化對應的具體類。 2.具體角色：工廠類返回的物件，它們繼承自同一個父類。 3.父類：它是所有具體角

Matlab人臉檢測方法（Face Parts Detection）詳解

　　今天同學讓我幫忙製作一個人臉表情識別的樣本庫，其中主要是對人臉進行裁剪，這裡用到了一個相對較新的Matlab人臉檢測方法Face Parts Detection，網上百度了一下發現關於Matlab人臉檢測的程式碼和資源並不多，故此專門撰寫一篇部落格來詳細介紹這個人臉檢測方

電腦安裝APK到手機超簡單方法（bat命令）

在桌面新建文字文件，輸入以下內容：adb install -r %1 pause然後將檔案字尾名改為.bat，以後安裝apk就直接把電腦上的apk檔案拖到這個bat檔案上即可。不再需要什麼360手機助手，應用寶之類的東西輔助了。當然還有兩個前提：1.你連線了資料線；2.你在

史上最最簡單的登入註冊方法（Bomb後端雲）

public class LoginActivity extends AppCompatActivity implements View.OnClickListener{ TextView tv_register; EditText et_name,et_password; Button btn_

工廠模式（簡單工廠，工廠方法，抽象工廠）

1.簡單工廠模式：      簡單工廠模式又稱靜態工廠方法模式。從命名上就可以看出這個模式一定很簡單。它存 在的目的很簡單：定義一個用於建立物件的介面。 先來看看它的組成： 1) 工廠類角色：這是本模式的核心，含有一定的商業邏輯和判斷邏輯。在java中它往往由 一個

opencv中haar特徵檢測人臉（適合小白）

本文的例程是我第一次用opencv自帶的利用haar特徵人臉識別的分類器檔案進行人臉檢測的收穫，注意，前提是已經有了分類器檔案xml，僅僅是利用它來進行檢測的過程。希望能幫到有需求的人~ 步入正題吧，haar特徵識別人臉的原理情自行百度，這裡就不多說了。《學習opencv》

簡單記憶體洩漏檢測方法

我的環境是: XP SP2 . VS2003 最近在一個專案中,程式退出後都出現記憶體洩漏: Detected memory leaks!Dumping objects ->{73} normal block at 0x009C2680, 292 bytes long.

【opencv】特徵點檢測方法--GFTT，SIFT，FAST，SURF

一. 特徵點檢測方法總結 二．關於特徵點分析對比的相關論文 1.      有關特徵點：Shi-Tmoasi，SIFT，SURF 方法：基於opencv，通過RGB分解，比較特徵點的個數和魯棒性 2.      有關特徵點：FAST 方法：主要是

Python和OpenCV簡單的人臉檢測程式

    最近想要搞人臉識別的東西，所以先弄了個簡單的人臉檢測的程式，網上找的許多都無法使用，不知道是不是Opencv版本的關係，或者是和Python結合後產生的問題，感覺很多API都是錯的，這裡用的是opencv2.3.1和python2.7。Python需要安裝numpy

GSON簡單實用及常用方法（附 .jar 地址）

Gson 是google解析Json的一個開源框架,同類的框架fastJson,JackJson等等 本人fastJson用了兩年，也是從去年才開始接觸Gson,希望下面的總結會對博友有用,至於Gson與FastJson的對比,其實半斤八兩的問題,不再贅述 第一步:在

人臉檢測SSH（Single Stage Headless Face Detector）配置方法（caffe版）

SSH: Single Stage Headless Face Detector 這篇是ICCV2017關於人臉檢測的文章，提出SSH（single stage headless）演算法有效提高了人臉檢測的效果，主要改進點包括多尺度檢測、引入更多的上下文資訊、損失函式的分組

基於生長的棋盤格角點檢測方法--（2）程式碼詳解（上）

上一篇介紹了基於生長的棋盤格角點檢測方法的大概原理，詳見：基於生長的棋盤格角點檢測方法–（1）原理介紹 本文進一步從程式碼解讀角度出發，更深入地理解工程中是如何實現的。 本文中用到的程式碼可以從以下連結下載 http://www.cvlibs.net/so

python基礎操作_方法（函數）

形參 num 變參 可變參數 int 聲明 args 是個 如果 #函數，方法#普通方法def hello(): print(‘hello‘)hello()#帶形參的方法def hello1(name): print(‘hello%s‘%name)hello1(

圖片大小自適應垂直居中的方法（移動端）

ans translate color width 方法 form relative left ati img{ position: relative; max-height: 100%; max-width: 100%; width: a