2. 程式人生 > >zxing和opencv實現身份識別

zxing和opencv實現身份識別

阿新 • • 發佈：2019-01-14
*

**轉自: http://blog.csdn.net/sinat_28891771/article/details/71191777?locationNum=2&fps=1**

*

實現原理分析 :通過zxing庫捕捉相機獲得影象,或者從相簿裡獲取圖片,再對影象進行處理. 對影象處理 : 對源影象進行畫素放大縮小處理>預處理(影象灰度化,低通濾波處理,邊緣檢測,二值化,中值平滑處理,閉運算)>刷選身份證號的矩形,得到有效行>對有效行進行灰度化,二值化>然後就進行識別.

實現過程:
1. 環境的配置
a. opencv3.2的依賴: 去官網下載opencv for android的sdk,解壓得到這個目錄

在android studio中選擇improt module載入進來 將依賴的opencv的build.gradle裡的版本要求和主工程的build.gradle保持一致如圖

最後將sdk目錄中的native的libs裡的檔案複製到主工程的main裡的jniLibs目錄下,jniLibs目錄需自己建立.這樣opencv庫就裝載成功了!

b. tesseract庫的使用,本文章不對tesseract如何編譯做詳細介紹,可以使用tess-two,有編譯好的,解壓的後,把Jar檔案新增到專案,把libs目錄的檔案複製到jniLibs目錄下這樣tess-two就整合完了.

c.

語言包的放置,可以從tesseract-ocr的官網下載中文的或者英文的,但是針對只是身份證號的識別,打算自己訓練,官方下載的語言包檔案都過大,本篇文章不對如何訓練做詳細介紹.

d. zxing庫的引用(本文不做介紹)

2 程式碼實現
如圖
如上圖主介面為三個入口,根據的scan_type的型別來呼叫zxing庫的掃描型別
這裡寫圖片描述

在Zxing庫的CaptureActivity類做以下新增:

//OpenCV庫載入並初始化成功後的回撥函式
private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this) {

    @Override
    public void onManagerConnected(int status) {
        // TODO Auto-generated method stub
        switch (status) {
            case BaseLoaderCallback.SUCCESS:
                Log.i(TAG, "成功載入");
                break;
            default:
                super.onManagerConnected(status);
                Log.i(TAG, "載入失敗");
                break;
        }
    }
};

在onResume的方法裡新增

    if (!OpenCVLoader.initDebug()) {
        Log.d(TAG, "Internal OpenCV library not found. Using OpenCV Manager for initialization");
        OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_3_2_0, this, mLoaderCallback);
    } else {
        Log.d(TAG, "OpenCV library found inside package. Using it!");
        mLoaderCallback.onManagerConnected(LoaderCallbackInterface.SUCCESS);
    }

這個opencv庫初始化載入回撥和onResume方法裡新增的判斷是一定要新增的.

其它細節不做詳細介紹,後面會將原始碼釋出!

在zxing庫的DecodeHandler類裡同二維碼識別一樣,將相機捕捉的影象進行解析

  if (scan_type.equals(CaptureActivity.SCAN_TYPE_QRCODESCAN)) {
                rawResult = multiFormatReader.decodeWithState(bitmap);//解析二維碼圖片
            } else if (scan_type.equals(CaptureActivity.SCAN_TYPE_BANK_CARD)) {
                result = BankCardIdentify.bankCardIdentify(activity, toBitmap(source, source.renderCroppedGreyscaleBitmap()));//解析銀行卡
            } else {
                result = IdCardIdentify.idCardIdentify(activity, toBitmap(source, source.renderCroppedGreyscaleBitmap()));  //解析身份證
            }

接下來就是IdCardIdentify類和CoreUtil類的介紹

IdCardIdentify類中的idCardIdentify方法,引數有activity和相機捕捉的bitmap.

public static String idCardIdentify(Activity activity, Bitmap bitmap) {
    CoreUtil.copyToSD(activity);
    bitmap = CoreUtil.scaleImage(bitmap, 900, 450); //根據畫素放大縮小圖片
    bitmap = ICPretreatment.doICPretreatmentOne(bitmap);//影象預處理
    CoreUtil.saveBitmap(bitmap);
    return getResult(ICPretreatment.doICPretreatmentTwo(bitmap)); //返回有效行識別結果
}

先載入語言包檔案,將assets目錄下的語言包檔案儲存到sd目錄下,再對源影象進行比例方法縮小,然後將影象預處理,即找到號碼的位置,最後將號碼的位置進行識別

影象的預處理:

public static Bitmap doICPretreatmentOne(Bitmap bitmap) {
    Mat rgbMat = new Mat(); //原圖
    Mat grayMat = new Mat();  //灰度圖
    Mat binaryMat = new Mat(); //二值化圖
    Mat canny = new Mat();
    Utils.bitmapToMat(bitmap, rgbMat);
    Imgproc.cvtColor(rgbMat, grayMat, Imgproc.COLOR_RGB2GRAY);//灰度化
    Imgproc.blur(grayMat, canny, new Size(3, 3));//低通濾波處理
    Imgproc.Canny(grayMat, canny, 125, 225);//邊緣檢測處理類
    Imgproc.threshold(canny, binaryMat, 165, 255, Imgproc.THRESH_BINARY);//二值化
    Imgproc.medianBlur(binaryMat, binaryMat, 3);//中值平滑處理
    Mat element_9 = new Mat(20, 20, CV_8U, new Scalar(1));
    Imgproc.morphologyEx(binaryMat, element_9, MORPH_CROSS, element_9);//閉運算
    /**
     * 輪廓提取()
     */
    ArrayList<MatOfPoint> contoursList = new ArrayList<>();
    Mat hierarchy = new Mat();
    Imgproc.findContours(element_9, contoursList, hierarchy, Imgproc.RETR_CCOMP, Imgproc.CHAIN_APPROX_NONE);
    Mat resultImage = Mat.zeros(element_9.size(), CV_8U);
    Imgproc.drawContours(resultImage, contoursList, -1, new Scalar(255, 0, 255));
    Mat effective = new Mat(); //身份證位置
    //外包矩形區域
    for (int i = 0; i < contoursList.size(); i++) {
        Rect rect = Imgproc.boundingRect(contoursList.get(i));
        if (rect.width != rect.height && rect.width / rect.height > 8) { //初步判斷找到有效位置
            Imgproc.rectangle(resultImage, new Point(rect.x, rect.y), new Point(rect.x + rect.width, rect.y + rect.height), new Scalar(255, 0, 255), 1);
            effective = new Mat(rgbMat, rect);
        }
    }
    if (effective != null && effective.cols() > 0 && effective.rows() > 0) {
        bitmap = Bitmap.createBitmap(effective.cols(), effective.rows(), Bitmap.Config.RGB_565);
        Utils.matToBitmap(effective, bitmap);
    } else {
        bitmap = CoreUtil.cropBitmap(bitmap, 280, 360, 600, 70, true);
    }
    return bitmap;
}

將影象進行形態學相關的處理,最後刷選連通域的矩形來確定號碼的位置,如果沒有找到的話,就根據身份證的位置特徵進行切割

影象預處理第二步


public static Bitmap doICPretreatmentTwo(Bitmap bitmap) {
Mat rgbMat = new Mat(); //原圖
Mat grayMat = new Mat(); //灰度圖
Mat binaryMat = new Mat(); //二值化圖
Utils.bitmapToMat(bitmap, rgbMat);
Imgproc.cvtColor(rgbMat, grayMat, Imgproc.COLOR_RGB2GRAY);//灰度化
Imgproc.threshold(grayMat, binaryMat, 150, 255, Imgproc.THRESH_BINARY);//二值化
bitmap = Bitmap.createBitmap(binaryMat.cols(), binaryMat.rows(), Bitmap.Config.RGB_565);
Utils.matToBitmap(binaryMat, bitmap);
return bitmap;
}

最後一步識別
/**
* 對要識別的影象進行識別
*
* @param bitmap 要識別的bitmap
* @return
*/
public static String getResult(Bitmap bitmap) {
String result;
TessBaseAPI baseApi = new TessBaseAPI();
baseApi.setDebug(true);
baseApi.init(DATAPATH, “identify”);
bitmap = bitmap.copy(Bitmap.Config.ARGB_8888, true);
baseApi.setImage(bitmap);
baseApi.setVariable(“tessedit_char_whitelist”, “0123456789X”);
result = baseApi.getUTF8Text();
result = result.replaceAll(“\s*”, “”);
if (result.equals(“”) || result.length() <= 16 || result.length() >= 20) { //允許4個字元的誤差
result = null;
}
baseApi.end();
bitmap.recycle();
return result;

}

效果展示:
圖一

效果

圖二

效果

圖三

效果

圖四

效果
所使用身份證素材均來自百度搜索

*

**轉自: http://blog.csdn.net/sinat_28891771/article/details/71191777?locationNum=2&fps=1**

*

實現原理分析 :通過zxing庫捕捉相機獲得影象,或者從相簿裡獲取圖片,再對影象進行處理. 對影象處理 : 對源影象進行畫素放大縮小處理>預處理(影象灰度化,低通濾波處理,邊緣檢測,二值化,中值平滑處理,閉運算)>刷選身份證號的矩形,得到有效行>對有效行進行灰度化,二值化>然後就進行識別.

實現過程:
1. 環境的配置
a. opencv3.2的依賴: 去官網下載opencv for android的sdk,解壓得到這個目錄

在android studio中選擇improt module載入進來 將依賴的opencv的build.gradle裡的版本要求和主工程的build.gradle保持一致如圖

最後將sdk目錄中的native的libs裡的檔案複製到主工程的main裡的jniLibs目錄下,jniLibs目錄需自己建立.這樣opencv庫就裝載成功了!

b. tesseract庫的使用,本文章不對tesseract如何編譯做詳細介紹,可以使用tess-two,有編譯好的,解壓的後,把Jar檔案新增到專案,把libs目錄的檔案複製到jniLibs目錄下這樣tess-two就整合完了.

c. 語言包的放置,可以從tesseract-ocr的官網下載中文的或者英文的,但是針對只是身份證號的識別,打算自己訓練,官方下載的語言包檔案都過大,本篇文章不對如何訓練做詳細介紹.

d. zxing庫的引用(本文不做介紹)

2 程式碼實現
如圖
如上圖主介面為三個入口,根據的scan_type的型別來呼叫zxing庫的掃描型別
這裡寫圖片描述

在Zxing庫的CaptureActivity類做以下新增:

//OpenCV庫載入並初始化成功後的回撥函式
private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this) {

    @Override
    public void onManagerConnected(int status) {
        // TODO Auto-generated method stub
        switch (status) {
            case BaseLoaderCallback.SUCCESS:
                Log.i(TAG, "成功載入");
                break;
            default:
                super.onManagerConnected(status);
                Log.i(TAG, "載入失敗");
                break;
        }
    }
};

在onResume的方法裡新增

    if (!OpenCVLoader.initDebug()) {
        Log.d(TAG, "Internal OpenCV library not found. Using OpenCV Manager for initialization");
        OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_3_2_0, this, mLoaderCallback);
    } else {
        Log.d(TAG, "OpenCV library found inside package. Using it!");
        mLoaderCallback.onManagerConnected(LoaderCallbackInterface.SUCCESS);
    }

這個opencv庫初始化載入回撥和onResume方法裡新增的判斷是一定要新增的.

其它細節不做詳細介紹,後面會將原始碼釋出!

在zxing庫的DecodeHandler類裡同二維碼識別一樣,將相機捕捉的影象進行解析

  if (scan_type.equals(CaptureActivity.SCAN_TYPE_QRCODESCAN)) {
                rawResult = multiFormatReader.decodeWithState(bitmap);//解析二維碼圖片
            } else if (scan_type.equals(CaptureActivity.SCAN_TYPE_BANK_CARD)) {
                result = BankCardIdentify.bankCardIdentify(activity, toBitmap(source, source.renderCroppedGreyscaleBitmap()));//解析銀行卡
            } else {
                result = IdCardIdentify.idCardIdentify(activity, toBitmap(source, source.renderCroppedGreyscaleBitmap()));  //解析身份證
            }

接下來就是IdCardIdentify類和CoreUtil類的介紹

IdCardIdentify類中的idCardIdentify方法,引數有activity和相機捕捉的bitmap.

public static String idCardIdentify(Activity activity, Bitmap bitmap) {
    CoreUtil.copyToSD(activity);
    bitmap = CoreUtil.scaleImage(bitmap, 900, 450); //根據畫素放大縮小圖片
    bitmap = ICPretreatment.doICPretreatmentOne(bitmap);//影象預處理
    CoreUtil.saveBitmap(bitmap);
    return getResult(ICPretreatment.doICPretreatmentTwo(bitmap)); //返回有效行識別結果
}

先載入語言包檔案,將assets目錄下的語言包檔案儲存到sd目錄下,再對源影象進行比例方法縮小,然後將影象預處理,即找到號碼的位置,最後將號碼的位置進行識別

影象的預處理:

public static Bitmap doICPretreatmentOne(Bitmap bitmap) {
    Mat rgbMat = new Mat(); //原圖
    Mat grayMat = new Mat();  //灰度圖
    Mat binaryMat = new Mat(); //二值化圖
    Mat canny = new Mat();
    Utils.bitmapToMat(bitmap, rgbMat);
    Imgproc.cvtColor(rgbMat, grayMat, Imgproc.COLOR_RGB2GRAY);//灰度化
    Imgproc.blur(grayMat, canny, new Size(3, 3));//低通濾波處理
    Imgproc.Canny(grayMat, canny, 125, 225);//邊緣檢測處理類
    Imgproc.threshold(canny, binaryMat, 165, 255, Imgproc.THRESH_BINARY);//二值化
    Imgproc.medianBlur(binaryMat, binaryMat, 3);//中值平滑處理
    Mat element_9 = new Mat(20, 20, CV_8U, new Scalar(1));
    Imgproc.morphologyEx(binaryMat, element_9, MORPH_CROSS, element_9);//閉運算
    /**
     * 輪廓提取()
     */
    ArrayList<MatOfPoint> contoursList = new ArrayList<>();
    Mat hierarchy = new Mat();
    Imgproc.findContours(element_9, contoursList, hierarchy, Imgproc.RETR_CCOMP, Imgproc.CHAIN_APPROX_NONE);
    Mat resultImage = Mat.zeros(element_9.size(), CV_8U);
    Imgproc.drawContours(resultImage, contoursList, -1, new Scalar(255, 0, 255));
    Mat effective = new Mat(); //身份證位置
    //外包矩形區域
    for (int i = 0; i < contoursList.size(); i++) {
        Rect rect = Imgproc.boundingRect(contoursList.get(i));
        if (rect.width != rect.height && rect.width / rect.height > 8) { //初步判斷找到有效位置
            Imgproc.rectangle(resultImage, new Point(rect.x, rect.y), new Point(rect.x + rect.width, rect.y + rect.height), new Scalar(255, 0, 255), 1);
            effective = new Mat(rgbMat, rect);
        }
    }
    if (effective != null && effective.cols() > 0 && effective.rows() > 0) {
        bitmap = Bitmap.createBitmap(effective.cols(), effective.rows(), Bitmap.Config.RGB_565);
        Utils.matToBitmap(effective, bitmap);
    } else {
        bitmap = CoreUtil.cropBitmap(bitmap, 280, 360, 600, 70, true);
    }
    return bitmap;
}

將影象進行形態學相關的處理,最後刷選連通域的矩形來確定號碼的位置,如果沒有找到的話,就根據身份證的位置特徵進行切割

影象預處理第二步


public static Bitmap doICPretreatmentTwo(Bitmap bitmap) {
Mat rgbMat = new Mat(); //原圖
Mat grayMat = new Mat(); //灰度圖
Mat binaryMat = new Mat(); //二值化圖
Utils.bitmapToMat(bitmap, rgbMat);
Imgproc.cvtColor(rgbMat, grayMat, Imgproc.COLOR_RGB2GRAY);//灰度化
Imgproc.threshold(grayMat, binaryMat, 150, 255, Imgproc.THRESH_BINARY);//二值化
bitmap = Bitmap.createBitmap(binaryMat.cols(), binaryMat.rows(), Bitmap.Config.RGB_565);
Utils.matToBitmap(binaryMat, bitmap);
return bitmap;
}

最後一步識別
/**
* 對要識別的影象進行識別
*
* @param bitmap 要識別的bitmap
* @return
*/
public static String getResult(Bitmap bitmap) {
String result;
TessBaseAPI baseApi = new TessBaseAPI();
baseApi.setDebug(true);
baseApi.init(DATAPATH, “identify”);
bitmap = bitmap.copy(Bitmap.Config.ARGB_8888, true);
baseApi.setImage(bitmap);
baseApi.setVariable(“tessedit_char_whitelist”, “0123456789X”);
result = baseApi.getUTF8Text();
result = result.replaceAll(“\s*”, “”);
if (result.equals(“”) || result.length() <= 16 || result.length() >= 20) { //允許4個字元的誤差
result = null;
}
baseApi.end();
bitmap.recycle();
return result;

}

效果展示:
圖一

效果

圖二

效果

圖三

效果

圖四

效果
所使用身份證素材均來自百度搜索

相關推薦

zxing和opencv實現身份識別

* **轉自: http://blog.csdn.net/sinat_28891771/article/details/71191777?locationNum=2&fps=1*** 實現原理分析 :通過zxing庫捕捉相機獲得影象,或者從相簿裡獲取圖片,再對影象進

Python調用OpenCV實現人臉識別

source display document down char name 實現 cvt config [硬件環境] Win10 64位 [軟件環境] Python版本：2.7.3 IDE：JetBrains PyCharm 2016.3.2 Python庫： 1.1)

基於Python3.7和opencv的人臉識別（含資料收集，模型訓練）

前言 第一次寫部落格，有點緊張和興奮。廢話不多說，直接進入正題。如果你渴望使你的電腦能夠進行人臉識別；如果你不想了解什麼c++、底層演算法；如果你也不想買什麼樹莓派，安裝什麼幾個G的opencv；如果你和我一樣是個還沒入門的小白，但是想體驗一下人臉識別的魅力。那麼恭喜你，這篇文章就是為你準備的。讓我們開始吧

使用opencv實現人臉識別及人眼識別

# 1 load 2 load jpg 3 hear gray 4 detect 5 draw import cv2 import numpy as np face_xml = cv2.CascadeClassifier('haarcascade_fronta

[原始碼和文件分享]基於Qt和OpenCV實現彩色圖和灰度圖的轉換

一、實驗目的與要求 1.1 目的 熟悉Qt視覺化開發，理解C++的面向物件思想 熟悉Qt和Opencv開發環境搭建 瞭解Qt訊息機制 初步理解Opencv的用法 學會使用c++異常處理 1.2 要求 使用Qt編寫一程式，點

opencv實現人臉識別

import cv2 import matplotlib.pylab as plt import numpy as np def show(image): plt.imshow(image)

opencv實現車牌識別之字元分割

簡介 　　在前一篇中，我們已經定位出來了在圖片中車牌號的位置，並且將車牌號圖片複製成了新圖片，並顯示出來，本章在這些被截取出來的圖片上繼續處理。 截取出來的新圖片如下： 影象灰階/二值化 　　首先也是選擇將影象進行灰階，然後採用以255一遍開始，取佔了總pixel

LBP小結：LBP及改進版本的原理和opencv實現原始碼

一、LBP特徵的背景介紹 LBP指區域性二值模式，英文全稱：Local Binary Pattern，是一種用來描述影象區域性特徵的運算元，LBP特徵具有灰度不變性和旋轉不變性等顯著優點。它是由T. Ojala, M.Pietikäinen, 和 D. Harwood

Sprint Boot使用OAuth和JWT實現身份認證【一】

依賴第三方庫：compile 'io.jsonwebtoken:jjwt:0.9.0'1.先寫個例子用JWT實現獲取token和解析tokenpackage com.yf.gyy.OAuthController; import java.util.Date; import

利用python、tensorflow、opencv實現人臉識別（包會）！

一，前言 本人是機械專業在讀碩士，在完成暑假實踐的時候接觸到了人臉識別，對這一實現很感興趣，所以花了大概十天時間做出了自己的人臉識別。這篇文章應該是很詳細的了所以幫你實現人臉識別應該沒什麼問題。 先說本博文的最終要達到的效果：通過一系列操作，在攝像頭的視訊流中識別特定

程式碼C++， opencv實現人臉識別，人臉檢測，人臉匹配，視訊中的人臉檢測，攝像頭下的人臉檢測等

前一段時間寫了一個人臉相關的演算法，包括視訊中的人臉檢測，相機的人臉檢測，影象中人臉檢測，還有人臉識別。使用的是VS2013和opencv。首先建立標頭檔案common.h#ifndef _COMMON_H #define _COMMON_H #include <op

OpenCV實現影象識別

最近參加了一個機器人比賽，本人負責影象識別和串列埠通訊方面的任務工作。串列埠通訊的教程可以見我的部落格；下面主要總結一下我對影象識別的整個學習過程。 開發環境 Mac OS Xcode C++ OpenCV 2.4.12 思考過程 實現影象識別

Android opencv實現文字識別

Android 文字識別         因為公司下個專案要用到OCR（光學字元識別），我們組leader就讓我準備一下我的專案是主要參考的是tess_two Android圖片文字識別，選拍照或者從本地相簿選取照片，然後呼叫本地裁剪，最後開始識別，識別結果還可以，希望能對

用Python和OpenCV實現照片馬賽克拼圖（蒙太奇照片）

馬賽克拼圖介紹： 相片馬賽克（Photomosaic），或稱蒙太奇照片、蒙太奇拼貼，是一種影像處理的藝術技巧，利用這個方式做出來的圖片，近看時是由許多張小照片合在一起的，但遠看時，每張照片透過光影和色彩的微調，組成了一張大圖的基本畫素，就叫做相片馬賽克技巧。最先是由一個

ubuntu16.04配置opencv 實現人臉識別

GCC 4.4.x 或者更高版本 CMake 2.6 或者更高版本 Git GTK+2.x 或者更高, 包括標頭檔案 (libgtk2.0-dev) pkg-config Python Numpy ffmpeg or libav development

邊緣檢測︱基於 HED網路TensorFlow 和 OpenCV 實現圖片邊緣檢測

. 一、邊緣檢測 1、傳統邊緣檢測 Google 搜尋 opencv scan document，是可以找到好幾篇相關的教程的，這些教程裡面的技術手段，也都大同小異，關鍵步驟就是呼叫 OpenCV 裡面的兩個函式，cv2.Canny() 和 c

Linux系統下利用OpenCV實現人臉檢測和基於LBPH演算法的人臉識別

        本文主要的目的是進行人臉檢測和人臉識別。實驗環境為Ubuntu16.04 LTS虛擬機器版，技術為OpenCV，語言為c++。其中人臉檢測的主要過程是從一張圖片中檢測出人臉可以是一個或者是多個，然後用矩形或者圓形線圈標註出來。人臉識別是基於LBPH演算法實現

使用opencv的SVM和神經網路實現車牌識別

一、前言 本文參考自《深入理解Opencv 實用計算機視覺專案解析》中的自動車牌識別專案，並對其中的方法理解後，再進行實踐。深刻認識到實際上要完成車牌區域準確定位、車牌區域中字元的準確分割，字元準確識別這一系列步驟的困難。所以最後的識別效果也是有待進一步提高。 二、程式流

android opencv實現人臉檢測 以及 年齡和性別識別

支援技術分享，轉載或複製，請指出文章來源此部落格作者為Jack__0023 1、背景 因為面對的場景不同，所以我上次使用 andr

基於虹軟人臉識別，實現身份認證和自助髮卡

　　去年下半年開始從BS開發轉戰CS開發了，相繼做了一些大大小小的專案。最近在做的一個人臉識別挺有意思，作為一個初學者我也是摸著石頭過河。這個專案主要是通過攝像頭捕獲的人臉特徵與身份證資訊中的人臉照片進行比對，比對通過的話，可以通過髮卡機寫入資訊至卡片並吐出這張卡片，使用者拿著這張卡片進行後續操作。對於髮卡機