2. 程式人生 > >膚色檢測演算法

膚色檢測演算法

阿新 • • 發佈：2018-11-19

由於能力有限，演算法層面的東西自己去創新的很少，很多都是從現有的論文中學習，然後實踐的。

首先列一些現在主流的面板檢測的方法都有哪些：

  1. RGB color space
  2. Ycrcb之cr分量+otsu閾值化
  3. YCrCb中133<=Cr<=173 77<=Cb<=127
  4. HSV中 7<H<20 28<S<256 50<V<256
  5. 基於橢圓面板模型的面板檢測
  6. opencv自帶膚色檢測類AdaptiveSkinDetector

每個演算法的思想都是大同小異的，都是根據總結出來的一些經驗，設定面板顏色的範圍，再將其過濾出來，不同的只是過濾的過程在不同的顏色空間下進行而已。我們可以根據自己的應用場景，適當地修改這些範圍，以獲得滿意的結果。可以改善的方向就是，我們可以用合適的濾波器或者形態學處理一些噪聲，來使得提取出來的面板更為乾淨。 

1.基於RGB顏色空間的簡單閾值膚色識別

      在human skin color clustering for face detection一文中提出如下簡單的判別算式：

　　　　　　R>95 And G>40 And B>20 And R>G And R>B And Max(R,G,B)-Min(R,G,B)>15 And Abs(R-G)>15 

膚色在RGB模型下的範圍基本滿足以下約束：

在均勻光照下應滿足以下判別式：

R>95 AND G>40 B>20 AND MAX(R,G,B)-MIN(R,G,B)>15 AND ABS(R-G)>15 AND R>G AND R>B

在側光拍攝環境下：

R>220 AND G>210 AND B>170 AND ABS(R-G)<=15 AND R>B AND G>B

演算法非常之簡單，同樣主要把複雜的判斷條件放到後面去判斷，能有效的降低程式的執行時間，參考程式碼：

/*基於RGB範圍的面板檢測*/
Mat RGB_detect(Mat& img)
{
    /*
        R>95 AND G>40 B>20 AND MAX(R,G,B)-MIN(R,G,B)>15 AND ABS(R-G)>15 AND R>G AND R>B
            OR
        R>220 AND G>210 AND B>170 AND ABS(R-G)<=15 AND R>B AND G>B
    */
    Mat detect = img.clone();
    detect.setTo(0);
    if (img.empty() || img.channels() != 3)
    {
        return detect;
    }

    for (int i = 0; i < img.rows; i++)
    {
        for (int j = 0; j < img.cols; j++)
        {
            uchar *p_detect = detect.ptr<uchar>(i, j);
            uchar *p_img = img.ptr<uchar>(i, j);
            if ((p_img[2] > 95 && p_img[1]>40 && p_img[0] > 20 &&
                (MAX(p_img[0], MAX(p_img[1], p_img[2])) - MIN(p_img[0], MIN(p_img[1], p_img[2])) > 15) &&
                abs(p_img[2] - p_img[1]) > 15 && p_img[2] > p_img[1] && p_img[1] > p_img[0]) ||
                (p_img[2] > 200 && p_img[1] > 210 && p_img[0] > 170 && abs(p_img[2] - p_img[1]) <= 15 &&
                p_img[2] > p_img[0] &&  p_img[1] > p_img[0]))
            {
                p_detect[0] = p_img[0];
                p_detect[1] = p_img[1];
                p_detect[2] = p_img[2];
            }

         
        }

    }
    return detect;
}

效果如下：

 

從檢測結果可以看出，面板的檢測效果並不好，首先面板檢測的完整性並不高，一些稍微光線不好的區域也沒法檢測出面板來。第二，這種基於RBG範圍來判定面板的演算法太受光線的影響了，魯棒性確實不好。

2.基於橢圓面板模型的面板檢測

經過前人學者大量的面板統計資訊可以知道，如果將面板資訊對映到YCrCb空間，則在CrCb二維空間中這些面板畫素點近似成一個橢圓分佈。因此如果我們得到了一個CrCb的橢圓，下次來一個座標(Cr, Cb)我們只需判斷它是否在橢圓內（包括邊界），如果是，則可以判斷其為面板，否則就是非面板畫素點。

 

這種基於膚色橢圓模型的演算法的面板檢測較上面演算法在效果上有著較大的提升。

3.YCrCb顏色空間Cr分量+Otsu法閾值分割

這裡先簡單介紹YCrCb顏色空間。
YCrCb即YUV，其中“Y”表示明亮度（Luminance或Luma），也就是灰階值；而“U”和“V” 表示的則是色度（Chrominance或Chroma），作用是描述影像色彩及飽和度，用於指定畫素的顏色。“亮度”是透過RGB輸入訊號來建立的，方法是將RGB訊號的特定部分疊加到一起。“色度”則定義了顏色的兩個方面─色調與飽和度，分別用Cr和Cb來表示。其中，Cr反映了RGB輸入訊號紅色部分與RGB訊號亮度值之間的差異。而Cb反映的是RGB輸入訊號藍色部分與RGB訊號亮度值之間的差異。

該方法的原理也很簡單：

a.將RGB影象轉換到YCrCb顏色空間，提取Cr分量影象

b.對Cr做自二值化閾值分割處理（Otsu法）

效果：

可以看出這種方法效果也還不錯。

4.基於YCrCb顏色空間Cr,Cb範圍篩選法

這個方法跟法一其實大同小異，只是顏色空間不同而已。據資料顯示，正常黃種人的Cr分量大約在133至173之間，Cb分量大約在77至127之間。大家可以根據自己專案需求放大或縮小這兩個分量的範圍，會有不同的效果。

 

5.HSV顏色空間H範圍篩選法

同樣地，也是在不同的顏色空間下采取相應的顏色範圍將面板分割出來。

 

6.opencv自帶膚色檢測類AdaptiveSkinDetector

opencv提供了下面這個好用的面板檢測函式：

CvAdaptiveSkinDetector(int samplingDivider = 1, int morphingMethod = MORPHING_METHOD_NONE);

這個函式的第二個引數表示面板檢測過程時所採用的圖形學操作方式，其取值有3種可能：

  • 如果為MORPHING_METHOD_ERODE，則表示只進行一次腐蝕操作；
  • 如果為MORPHING_METHOD_ERODE_ERODE，則表示連續進行2次腐蝕操作；
  • 如果為MORPHING_METHOD_ERODE_DILATE，則表示先進行一次腐蝕操作，後進行一次膨脹操作。

從效果圖看來，背景多了很多白色的雜質，單從直觀效果來看，貌似還不如上面寫的幾個演算法。

 

完整演算法程式碼如下：



#include "stdafx.h"

#include <iostream>
#include <cstdio>
#include <cstring>
#include <ctime>
#include <cvaux.h>
#include <highgui.h>

using namespace cv;
#if 1
class skin_detector
{
public:
    /*基於RGB範圍的面板檢測*/
    Mat RGB_detect(Mat& img)
    {
        /*
            R>95 AND G>40 B>20 AND MAX(R,G,B)-MIN(R,G,B)>15 AND ABS(R-G)>15 AND R>G AND R>B
                OR
            R>220 AND G>210 AND B>170 AND ABS(R-G)<=15 AND R>B AND G>B
        */
        Mat detect = img.clone();
        detect.setTo(0);
        if (img.empty() || img.channels() != 3)
        {
            return detect;
        }
        for (int i = 0; i < img.rows; i++)
        {
            for (int j = 0; j < img.cols; j++)
            {
                uchar *p_detect = detect.ptr<uchar>(i, j);
                uchar *p_img = img.ptr<uchar>(i, j);
                if ((p_img[2] > 95 && p_img[1]>40 && p_img[0] > 20 &&
                    (MAX(p_img[0], MAX(p_img[1], p_img[2])) - MIN(p_img[0], MIN(p_img[1], p_img[2])) > 15) &&
                    abs(p_img[2] - p_img[1]) > 15 && p_img[2] > p_img[1] && p_img[1] > p_img[0]) ||
                    (p_img[2] > 200 && p_img[1] > 210 && p_img[0] > 170 && abs(p_img[2] - p_img[1]) <= 15 &&
                    p_img[2] > p_img[0] &&  p_img[1] > p_img[0]))
                {
                    p_detect[0] = p_img[0];
                    p_detect[1] = p_img[1];
                    p_detect[2] = p_img[2];
                }

            }

        }
        return detect;
    }

    /*HSV顏色空間H範圍篩選法*/
    Mat HSV_detector(Mat& src)
    {
        Mat hsv_image;
        int h = 0;
        int s = 1;
        int v = 2;
        cvtColor(src, hsv_image, CV_BGR2HSV); //首先轉換成到YCrCb空間
        Mat output_mask = Mat::zeros(src.size(), CV_8UC1);
        for (int i = 0; i < src.rows; i++)
        {
            for (int j = 0; j < src.cols; j++)
            {
                uchar *p_mask = output_mask.ptr<uchar>(i, j);
                uchar *p_src = hsv_image.ptr<uchar>(i, j);
                if (p_src[h] >= 0 && p_src[h] <= 20 && p_src[s] >=48 && p_src[v] >=50)
                {
                    p_mask[0] = 255;
                }
            }
        }
        Mat detect;
        src.copyTo(detect, output_mask);;
        return detect;
    }

    /*YCrCb顏色空間Cr,Cb範圍篩選法*/
    Mat YCrCb_detect(Mat & src)
    {
        Mat ycrcb_image;
        int Cr = 1;
        int Cb = 2;
        cvtColor(src, ycrcb_image, CV_BGR2YCrCb); //首先轉換成到YCrCb空間
        Mat output_mask = Mat::zeros(src.size(), CV_8UC1);
        for (int i = 0; i < src.rows; i++)
        {
            for (int j = 0; j < src.cols; j++)
            {
                uchar *p_mask = output_mask.ptr<uchar>(i, j);
                uchar *p_src = ycrcb_image.ptr<uchar>(i, j);
                if (p_src[Cr] >= 133 && p_src[Cr] <= 173 && p_src[Cb] >= 77 && p_src[Cb] <= 127)
                {
                    p_mask[0] = 255;
                }
            }
        }
        Mat detect;
        src.copyTo(detect, output_mask);;
        return detect;

    }

    /*YCrCb顏色空間Cr分量+Otsu法*/
    Mat YCrCb_Otsu_detect(Mat& src)
    {
        Mat ycrcb_image;
        cvtColor(src, ycrcb_image, CV_BGR2YCrCb); //首先轉換成到YCrCb空間
        Mat detect;
        vector<Mat> channels;
        split(ycrcb_image, channels);
        Mat output_mask = channels[1];
        threshold(output_mask, output_mask, 0, 255, CV_THRESH_BINARY | CV_THRESH_OTSU);
        src.copyTo(detect, output_mask);
        return detect;

    }

    /*基於橢圓面板模型的面板檢測*/
    Mat ellipse_detect(Mat& src)
    {
        Mat img = src.clone();
        Mat skinCrCbHist = Mat::zeros(Size(256, 256), CV_8UC1);
        //利用opencv自帶的橢圓生成函式先生成一個膚色橢圓模型
        ellipse(skinCrCbHist, Point(113, 155.6), Size(23.4, 15.2), 43.0, 0.0, 360.0, Scalar(255, 255, 255), -1);
        Mat ycrcb_image;
        Mat output_mask = Mat::zeros(img.size(), CV_8UC1);
        cvtColor(img, ycrcb_image, CV_BGR2YCrCb); //首先轉換成到YCrCb空間
        for (int i = 0; i < img.cols; i++)   //利用橢圓面板模型進行面板檢測
            for (int j = 0; j < img.rows; j++) 
            {
                Vec3b ycrcb = ycrcb_image.at<Vec3b>(j, i);
                if (skinCrCbHist.at<uchar>(ycrcb[1], ycrcb[2]) > 0)   //如果該落在面板模型橢圓區域內，該點就是面板畫素點
                    output_mask.at<uchar>(j, i) = 255;
            }

        Mat detect;
        img.copyTo(detect,output_mask);  //返回膚色圖
        return detect;
    }

    /*opencv自帶膚色檢測類AdaptiveSkinDetector*/
    Mat AdaptiveSkinDetector_detect(Mat& src)
    {
        IplImage *frame;
        frame = &IplImage(src);  //Mat -> IplImage
        CvAdaptiveSkinDetector filter(1, CvAdaptiveSkinDetector::MORPHING_METHOD_ERODE_DILATE);

        IplImage *maskImg = cvCreateImage(cvSize(src.cols, src.rows), IPL_DEPTH_8U, 1);
        IplImage *skinImg = cvCreateImage(cvSize(src.cols, src.rows), IPL_DEPTH_8U, 3);
        cvZero(skinImg);
        filter.process(frame, maskImg);    // process the frame
        cvCopy(frame, skinImg, maskImg);
        Mat tmp(skinImg);  //IplImage -> Mat
        Mat detect = tmp.clone();
        cvReleaseImage(&skinImg);
        cvReleaseImage(&maskImg);
        return detect;
    }
};
#endif

 

測試程式碼：


int main(int argc, char** argv)
{

    VideoCapture cap(0);
    if (!cap.isOpened())
    {
        printf("fail to open camera!\n");
        return -1;
    }
    Mat frame;
    skin_detector detector;
    
    while (1)
    {
        cap >> frame;
        if (frame.empty())
        {
            continue;
        }
        Mat skin = detector.AdaptiveSkinDetector_detect(frame);//AdaptiveSkinDetector_detect
        imshow("AdaptiveSkinDetector capture skin", skin);
        imshow("capture src",frame);

        if (waitKey(1) == 27)
        {
            break;
        }
    }

    return 0;
}

 

 文章參考：

1.https://www.cnblogs.com/Imageshop/p/3264238.html

2.https://www.cnblogs.com/skyfsm/p/7868877.html

相關推薦

膚色檢測演算法

由於能力有限，演算法層面的東西自己去創新的很少，很多都是從現有的論文中學習，然後實踐的。 首先列一些現在主流的面板檢測的方法都有哪些： RGB color space Ycrcb之cr分量+otsu閾值化 YCrCb中133<=Cr<=173 77<=Cb

Win8 Metro(C#)數字影象處理--2.35影象膚色檢測演算法

 [函式名稱] 膚色檢測函式SkinDetectProcess(WriteableBitmap src) [演算法說明]   這個演算法是一篇學術論文演算法的實現，論文名字為“基於韌臉檢測和顏色分析的紅眼自動消除”(作者金秋明，王朔中)，主要是採集並統計膚色畫素，得到膚

演算法學習之膚色檢測

 好的膚色模型要求選擇一個恰當的彩色空間，在此空間中膚色能團簇、聚合在一起，並且與非膚色的重疊部分要儘可能少。通過各色度空間中膚色聚類的結果比較發現，膚色在各空間中的聚類情況如下：在RGB彩色空間中，膚色與非膚色的重疊部分較多。因此RGB空間不適合構造膚色模型；在rgb彩色空間中的分佈情況（用r，g表徵）。

基於深度學習的目標檢測演算法綜述（一）（截止20180821）

參考：https://zhuanlan.zhihu.com/p/40047760 目標檢測（Object Detection）是計算機視覺領域的基本任務之一，學術界已有將近二十年的研究歷史。近些年隨著深度學習技術的火熱發展，目標檢測演算法也從基於手工特徵的傳統演算法轉向了基於深度神經網路的檢測技

基於深度學習的目標檢測演算法綜述（三）（截止20180821）

參考：https://zhuanlan.zhihu.com/p/40102001 基於深度學習的目標檢測演算法綜述分為三部分： 1. Two/One stage演算法改進。這部分將主要總結在two/one stage經典網路上改進的系列論文，包括Faster R-CNN、YOLO、SSD等經

基於深度學習的目標檢測演算法綜述（二）（截止20180821）

參考：https://zhuanlan.zhihu.com/p/40020809 基於深度學習的目標檢測演算法綜述分為三部分： 1. Two/One stage演算法改進。這部分將主要總結在two/one stage經典網路上改進的系列論文，包括Faster R-CNN、YOLO、SSD等經

學習筆記之——基於深度學習的目標檢測演算法

        國慶假期閒來無事~又正好打算入門基於深度學習的視覺檢測領域，就利用這個時間來寫一份學習的博文~本博文主要是本人的學習筆記與調研報告（不涉及商業用途），博文的部分來自我團隊的幾位成員的調研報告（由於隱私關係，不公告他們的名字了哈~），同時結合

目標檢測演算法理解：從R-CNN到Mask R-CNN

　　因為工作了以後時間比較瑣碎，所以更多的時候使用onenote記錄知識點，但是對於一些演算法層面的東西，個人的理解畢竟是有侷限的。我一直做的都是影象分類方向，最近開始接觸了目標檢測，也看了一些大牛的論文，雖然網上已經有很多相關的演算法講解，但是每個人對同一個問題的理解都不太一樣，本文主

睜眼 閉眼 眯眼檢測演算法

睜眼 閉眼 眯眼檢測演算法 功能： 能夠實現迴圈的讀入一連串連續的影象，影象的下標一定要連續！然後讀入影象進行一些列的處理，具體什麼操作看程式碼！然後對虹膜影象進行霍夫圓畫圖操作，看是1.5的反比能畫霍夫圓還是2的時候能夠畫霍夫圓，檢測i=1還是i=0或者i大於1 判斷畫了幾條霍夫圓，從

於仕琪的人臉檢測演算法

轉自：https://blog.csdn.net/Jacky_Ponder/article/details/51819273 於仕琪的人臉檢測演算法，對Windows下的商業使用也免費。剛更新了一次演算法：①正面人臉檢測的角度範圍從[-40, 40]度提升到[-60,60]度，檢測角度變大但計算

opencv影象處理-------邊緣檢測演算法

利用Canny邊緣檢測運算元進行邊緣檢測的原理及OpenCV程式碼實現   Canny運算元是John Canny在1986年發表的論文中首次提出的邊緣檢測運算元，該運算元檢測效能比較好，應用廣泛。 Canny運算元進行邊緣檢測的原理和步驟如下： ⑴消除噪聲。邊緣檢測的演算

目標檢測演算法中檢測框合併策略技術綜述

物體檢測（Object Detection）的任務是找出影象或視訊中的感興趣目標，同時實現輸出檢測目標的位置和類別，是機器視覺領域的核心問題之一，學術界已有將近二十年的研究歷史。隨著深度學習技術的火熱發展，目標檢測演算法也從基於手工特徵的傳統演算法轉向了基於深度神經網路的檢測技術。從最初 2013

排序檢測演算法

時間：2018年11月02日 有一列資料需要進行內容的校驗，總共有三個，如果有第一個，第二第三可以為空；有第一第二，第三可以為空；有第一和第三，第二不能為空；有第二和第三，第一不能為空；三者可以同時為空，以此類推。如下表所示 1 2 3 OK？

基於語義分割和生成對抗網路的缺陷檢測演算法

一、缺陷型別 如下圖所示，缺陷型別主要有缺損和裂紋兩個型別。 二、語義分割網路 FCN網路 網上介紹FCN的教程很多，在這裡不再詳細講述，具體請參考連結： https://www.cnblogs.com/gujianhan/p/6030639.html https://

目標檢測演算法彙總比較

作者：金天 連結：https://zhuanlan.zhihu.com/p/39579528 來源：知乎 著作權歸作者所有。商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。   很難衡量一個檢測演算法的好壞，因為除了演算法本身的思路之外，還有許多因素影響它的速度和精度，比如：

目標檢測演算法-rcnn

RCNN區域卷積神經網路 前言 RCNN詳解 1.摘要 2.訓練過程 3.測試過程 參考 1.RCNN(regions with CNN features)論文 2.知識點1：邊框迴歸(bo

Relation-Network目標檢測演算法詳細總結分析（one/two-stage)(深度學習)(CVPR 2018)

論文名稱：《 Single-Shot Refinement Neural Network for Object Detection 》 論文下載：https://arxiv.org/abs/1711.06897 論文程式碼：https://github.com/sfzhang1

Faster R-CNN 目標檢測演算法詳細總結分析（two-stage)(深度學習)(NIPS 2015)

論文名稱：《 Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 》 論文下載：https://papers.nips.cc/paper/5638-faster-r-cnn-t

Fast R-CNN 目標檢測演算法詳細總結分析（two-stage)(深度學習)(ICCV 2015)

論文名稱：《 Fast R-CNN 》 論文下載：https://arxiv.org/pdf/1504.08083.pdf 論文程式碼：https://github.com/rbgirshick/fast-rcnn 一、 網路結構：

R-CNN 目標檢測演算法詳細總結分析（two-stage)(深度學習)(CVPR 2014)

論文名稱：《 Rich feature hierarchies for accurate object detection and semantic segmentation 》 論文下載：https://arxiv.org/pdf/1311.2524.pdf 論文程式碼：ht