基於openCV的手勢識別
阿新 • • 發佈:2021-02-07
文章目錄
主要運用的知識就是opencv,python基本語法,影象處理基礎知識,下面看效果:
捕捉攝像頭(獲取視訊)
cap = cv2.VideoCapture("C:/Users/lenovo/Videos/wgs.mp4")#讀取檔案
#cap = cv2.VideoCapture(0)#讀取攝像頭
while(True):
ret, frame = cap.read() key = cv2.waitKey(50) & 0xFF
if key == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
膚色檢測
這裡使用的是橢圓膚色檢測模型
在RGB空間里人臉的膚色受亮度影響相當大,所以膚色點很難從非膚色點中分離出來,也就是說在此空間經過處理後,膚色點是離散的點,中間嵌有很多非膚色,這為膚色區域標定(人臉標定、眼睛等)帶來了難題。
如果把RGB轉為YCrCb空間的話,可以忽略Y(亮度)的影響,因為該空間受亮度影響很小,膚色會產生很好的類聚。這樣就把三維的空間將為二維的CrCb,膚色點會形成一定得形狀,如:人臉的話會看到一個人臉的區域,手臂的話會看到一條手臂的形態。
def A(img):
YCrCb = cv2.cvtColor(img, cv2.COLOR_BGR2YCR_CB) #轉換至YCrCb空間
(y,cr,cb) = cv2.split(YCrCb) #拆分出Y,Cr,Cb值
cr1 = cv2.GaussianBlur(cr, (5,5), 0)
_, skin = cv2.threshold(cr1, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU) #Ostu處理
res = cv2.bitwise_and(img,img, mask = skin)
return res
輪廓處理
輪廓處理的話主要用到兩個函式,cv2.findContours和cv2.drawContours,這兩個函式的使用使用方法很容易搜到就不說了,這部分主要的問題是提取到的輪廓有很多個,但是我們只需要手的輪廓,所以我們要用sorted函式找到最大的輪廓。
def B(img):
#binaryimg = cv2.Canny(Laplacian, 50, 200) #二值化,canny檢測
h = cv2.findContours(img,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE) #尋找輪廓
contour = h[0]
contour = sorted(contour, key = cv2.contourArea, reverse=True)#已輪廓區域面積進行排序
#contourmax = contour[0][:, 0, :]#保留區域面積最大的輪廓點座標
bg = np.ones(dst.shape, np.uint8) *255#建立白色幕布
ret = cv2.drawContours(bg,contour[0],-1,(0,0,0),3) #繪製黑色輪廓
return ret
全部程式碼
'''
@Time : 2021/2/6 15:41
@Author : WGS
@remarks :
'''
""" 從視訊讀取幀儲存為圖片"""
import cv2
import numpy as np
# cap = cv2.VideoCapture("C:/Users/lenovo/Videos/wgs.mp4") #讀取檔案
cap = cv2.VideoCapture(0) # 讀取攝像頭
# 面板檢測
def A(img):
YCrCb = cv2.cvtColor(img, cv2.COLOR_BGR2YCR_CB) # 轉換至YCrCb空間
(y, cr, cb) = cv2.split(YCrCb) # 拆分出Y,Cr,Cb值
cr1 = cv2.GaussianBlur(cr, (5, 5), 0)
_, skin = cv2.threshold(cr1, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU) # Ostu處理
res = cv2.bitwise_and(img, img, mask=skin)
return res
def B(img):
# binaryimg = cv2.Canny(Laplacian, 50, 200) #二值化,canny檢測
h = cv2.findContours(img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE) # 尋找輪廓
contour = h[0]
contour = sorted(contour, key=cv2.contourArea, reverse=True) # 已輪廓區域面積進行排序
# contourmax = contour[0][:, 0, :]#保留區域面積最大的輪廓點座標
bg = np.ones(dst.shape, np.uint8) * 255 # 建立白色幕布
ret = cv2.drawContours(bg, contour[0], -1, (0, 0, 0), 3) # 繪製黑色輪廓
return ret
while (True):
ret, frame = cap.read()
# 下面三行可以根據自己的電腦進行調節
src = cv2.resize(frame, (400, 350), interpolation=cv2.INTER_CUBIC) # 視窗大小
cv2.rectangle(src, (90, 60), (300, 300), (0, 255, 0)) # 框出擷取位置
roi = src[60:300, 90:300] # 獲取手勢框圖
res = A(roi) # 進行膚色檢測
cv2.imshow("0", roi)
gray = cv2.cvtColor(res, cv2.COLOR_BGR2GRAY)
dst = cv2.Laplacian(gray, cv2.CV_16S, ksize=3)
Laplacian = cv2.convertScaleAbs(dst)
contour = B(Laplacian) # 輪廓處理
cv2.imshow("2", contour)
key = cv2.waitKey(50) & 0xFF
if key == ord('q'):
break
cap.release()
cv2.destroyAllWindows()