Python3 識別驗證碼(opencv-python)
Python3 識別驗證碼(opencv-python)
一、準備工作
使用opencv做影象處理,所以需要安裝下面兩個庫:
pip3 install opencv-python
pip3 install numpy
二、識別原理
採取一種有監督式學習的方法來識別驗證碼,包含以下幾個步驟:
- 圖片處理 - 對圖片進行降噪、二值化處理
- 切割圖片 - 將圖片切割成單個字元並儲存
- 人工標註 - 對切割的字元圖片進行人工標註,作為訓練集
- 訓練資料 - 用KNN演算法訓練資料
- 檢測結果 - 用上一步的訓練結果識別新的驗證碼
1,圖片處理
先來看一下要識別的驗證碼是長什麼樣的:
字元做了一些扭曲變換。仔細觀察,還可以發現圖片中間的部分添加了一些顆粒化的噪聲。
先讀入圖片,並將圖片轉成灰度圖,程式碼如下:
mport cv2 im = cv2.imread(filepath) im_gray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)
經過上面的處理,我們的彩色圖片變成了下面這樣:
將圖片做二值化處理,程式碼如下:
ret, im_inv = cv2.threshold(im_gray,127,255,cv2.THRESH_BINARY_INV)
127是設定的閾值,畫素值大於127被置成了0,小於127的被置成了255。處理後的圖片變成了這樣:
接下來,我們應用高斯模糊對圖片進行降噪。高斯模糊的本質是用高斯核和影象做卷積,程式碼如下:
kernel = 1/16*np.array([[1,2,1], [2,4,2], [1,2,1]])
im_blur = cv2.filter2D(im_inv,-1,kernel)
降噪後的圖片如下:
可以看到一些顆粒化的噪聲被平滑掉了。
降噪後,對圖片再做一輪二值化處理:
ret, im_res = cv2.threshold(im_blur,127,255,cv2.THRESH_BINARY)
現在圖片變成了這樣:
好了,接下來,要開始切割圖片了。
2,切割圖片
這一步是所有步驟裡最複雜的一步。我們的目標是把最開始的圖片切割成單個字元,並把每個字元儲存成如下的灰度圖
首先我們用opencv的findContours來提取輪廓:
im2, contours, hierarchy = cv2.findContours(im_res, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
把提取的輪廓用矩形框起來,畫出來是這樣:
可以看到,每個字元都被檢測出來了。
但這只是理想情況,很多時候,相鄰字元有粘連的會被識別成同一個字元,比如像下面的情況:
要處理這種情況,我們就要對上面的圖片做進一步的分割。字元粘連會有下面幾種情況,我們逐一來看下該怎麼處理。
3個字元被識別成2個字元;
這種情況,對粘連的字元輪廓,從中間進行分割,程式碼如下:
result = [] for contour in contours: x, y, w, h = cv2.boundingRect(contour) if w == w_max: # w_max是所有contonur的寬度中最寬的值 box_left = np.int0([[x,y], [x+w/2,y], [x+w/2,y+h], [x,y+h]]) box_right = np.int0([[x+w/2,y], [x+w,y], [x+w,y+h][x+w/2,y+h]]) result.append(box_left) result.append(box_right) else: box = np.int0([[x,y], [x+w,y], [x+w,y+h], [x,y+h]]) result.append(box)
對第一種情況,對於左右兩個輪廓,從中間分割即可。對第二種情況,將包含了3個字元的輪廓在水平方向上三等分。具體程式碼如下:
result = [] for contour in contours: x, y, w, h = cv2.boundingRect(contour) if w == w_max and w_max >= w_min * 2:# 如果兩個輪廓一個是另一個的寬度的2倍以上,我們認為這個輪廓就是包含3個字元的輪廓 box_left = np.int0([[x,y], [x+w/3,y], [x+w/3,y+h], [x,y+h]]) box_mid = np.int0([[x+w/3,y], [x+w*2/3,y], [x+w*2/3,y+h], [x+w/3,y+h]]) box_right = np.int0([[x+w*2/3,y], [x+w,y], [x+w,y+h], [x+w*2/3,y+h]]) result.append(box_left) result.append(box_mid) result.append(box_right) elif w_max < w_min * 2: # 如果兩個輪廓,較寬的寬度小於較窄的2倍,我們認為這是兩個包含2個字元的輪廓 box_left = np.int0([[x,y], [x+w/2,y], [x+w/2,y+h], [x,y+h]]) box_right = np.int0([[x+w/2,y], [x+w,y], [x+w,y+h], [x+w/2,y+h]]) result.append(box_left) result.append(box_right) else: box = np.int0([[x,y], [x+w,y], [x+w,y+h], [x,y+h]]) result.append(box)
還有一種情況4個字元被識別成1個字元:
這種情況對輪廓在水平方向上做4等分即可,程式碼如下:
result = [] contour = contours[0] x, y, w, h = cv2.boundingRect(contour) box0 = np.int0([[x,y], [x+w/4,y], [x+w/4,y+h], [x,y+h]]) box1 = np.int0([[x+w/4,y], [x+w*2/4,y], [x+w*2/4,y+h], [x+w/4,y+h]]) box2 = np.int0([[x+w*2/4,y], [x+w*3/4,y], [x+w*3/4,y+h], [x+w*2/4,y+h]]) box3 = np.int0([[x+w*3/4,y], [x+w,y], [x+w,y+h], [x+w*3/4,y+h]]) result.extend([box0, box1, box2, box3])
對圖片分割完成後,我們將分割後的單個字元的圖片存成不同的圖片檔案,以便下一步做人工標註。存取字元圖片的程式碼如下:
for box in result: cv2.drawContours(im, [box], 0, (0,0,255),2) roi = im_res[box[0][1]:box[3][1], box[0][0]:box[1][0]] roistd = cv2.resize(roi, (30, 30)) # 將字元圖片統一調整為30x30的圖片大小 timestamp = int(time.time() * 1e6) # 為防止檔案重名,使用時間戳命名檔名 filename = "{}.jpg".format(timestamp) filepath = os.path.join("char", filename) cv2.imwrite(filepath, roistd)
字元圖片儲存在名為char的目錄下面,這個目錄裡的檔案大致是長這樣的(檔名用時間戳命名,確保不會重名):
接下來,我們開始標註資料。
3、人工標註
這一步是所有步驟裡最耗費體力的一步了。為節省時間,我們在程式裡依次開啟char目錄中的每張圖片,鍵盤輸入字元名,程式讀取鍵盤輸入並將字元名儲存在檔名裡。程式碼如下:
files = os.listdir("char") for filename in files: filename_ts = filename.split(".")[0] patt = "label/{}_*".format(filename_ts) saved_num = len(glob.glob(patt)) if saved_num == 1: print("{} done".format(patt)) continue filepath = os.path.join("char", filename) im = cv2.imread(filepath) cv2.imshow("image", im) key = cv2.waitKey(0) if key == 27: sys.exit() if key == 13: continue char = chr(key) filename_ts = filename.split(".")[0] outfile = "{}_{}.jpg".format(filename_ts, char) outpath = os.path.join("label", outfile) cv2.imwrite(outpath, im)
這裡一共標註了大概800張字元圖片,標註的結果存在名為label的目錄下,目錄下的檔案是這樣的(檔名由原檔名+標註名組成)
接下來,我們開始訓練資料。
4,訓練資料
首先,我們從label目錄中載入已標註的資料:
filenames = os.listdir("label") samples = np.empty((0, 900)) labels = [] for filename in filenames: filepath = os.path.join("label", filename) label = filename.split(".")[0].split("_")[-1] labels.append(label) im = cv2.imread(filepath, cv2.IMREAD_GRAYSCALE) sample = im.reshape((1, 900)).astype(np.float32) samples = np.append(samples, sample, 0) samples = samples.astype(np.float32) unique_labels = list(set(labels)) unique_ids = list(range(len(unique_labels))) label_id_map = dict(zip(unique_labels, unique_ids)) id_label_map = dict(zip(unique_ids, unique_labels)) label_ids = list(map(lambda x: label_id_map[x], labels)) label_ids = np.array(label_ids).reshape((-1, 1)).astype(np.float32)
接下來,訓練我們的模型:
model = cv2.ml.KNearest_create()
model.train(samples, cv2.ml.ROW_SAMPLE, label_ids)
訓練完,我們用這個模型來識別一下新的驗證碼。
5,檢測結果
下面是我們要識別的驗證碼:
對於每一個要識別的驗證碼,我們都需要對圖片做降噪、二值化、分割的處理(程式碼和上面的一樣,這裡不再重複)。假設處理後的圖片存在變數im_res中,分割後的字元的輪廓資訊存在變數boxes中,識別驗證碼的程式碼如下:
for box in boxes: roi = im_res[box[0][1]:box[3][1], box[0][0]:box[1][0]] roistd = cv2.resize(roi, (30, 30)) sample = roistd.reshape((1, 900)).astype(np.float32) ret, results, neighbours, distances = model.findNearest(sample, k = 3) label_id = int(results[0,0]) label = id_label_map[label_id] print(label)
執行上面的程式碼,可以看到程式輸出:
Z
Y
C
Q
圖片中的驗證碼被成功地識別出來。
測試了下識別的準確率,取100張驗證碼圖片(存在test目錄下)進行識別,識別的準確率約為80%。
看到有人說用神經網路識別驗證碼,準確率可以達到90%以上;