1. 程式人生 > >Android 關於獲取攝像頭幀資料

Android 關於獲取攝像頭幀資料

第一部分:

由於Android下攝像頭預覽資料只能  ImageFormat.NV21 格式的,所以解碼時要經過一翻周折.

Camera mCamera = Camera.open();
Camera.Parameters p = mCamera.getParameters();
p.setPreviewFormat(ImageFormat.NV21);
/*這是唯一值,也可以不設定。有些同學可能設定成 PixelFormat 下面的一個值,其實是不對的,具體的可以看官方文件*/
mCamera.setParameters(p);
mCamera.startPreview();

下面是解碼核心部分:

	@Override
	public void onPreviewFrame(byte[] data, Camera camera) {		
		Size size = camera.getParameters().getPreviewSize();		
		try{
			YuvImage image = new YuvImage(data, ImageFormat.NV21, size.width, size.height, null);
			if(image!=null){
				ByteArrayOutputStream stream = new ByteArrayOutputStream();
				image.compressToJpeg(new Rect(0, 0, size.width, size.height), 80, stream);
				Bitmap bmp = BitmapFactory.decodeByteArray(stream.toByteArray(), 0, stream.size());

      				stream.close();
			}
		}catch(Exception ex){
			Log.e("Sys","Error:"+ex.getMessage());
		}
	}

程式碼很簡單。就是把YUV資料轉成 Bitmap 就行了,系統提供 YuvImage 類。

第二部分:

原理是利用手機的攝像頭取景,然後解碼視訊流

拆分成點陣圖,然後對點陣圖進行處理和識別

要在android手機裡面捕獲視訊流

當然,手機必須得有攝像頭

然後嘛,第一步是在AndroidManifest.xml加入如下許可權宣告

<permission android:name="android.permission.CAMERA"></permission>
<uses-permission android:name="android.permission.CAMERA"
/> <uses-feature android:name="android.hardware.camera" /> <uses-feature android:name="android.hardware.camera.autofocus" />

攝像頭的預覽和捕獲只能通過surfaceview..

而且他的工作模式必須是SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS

不然不能在surfaceview裡面顯示出預覽的影象

然後在surfaceCreated方法裡面加入我們的攝像頭初始化

public void surfaceCreated(SurfaceHolder arg0) {
    //啟動相機服務
     mCamera = Camera.open();
    Log.i("Camera", "surface open");
    try {
        //設定預覽  這個holder是 SurfaceView的getHolder()方法得到的
        mCamera.setPreviewDisplay(holder);
         Camera.Parameters parameters = mCamera.getParameters();
        //設定圖片格式
         parameters.setPictureFormat(PixelFormat.JPEG);
       //設定預覽的幀數,受硬體影響.
        parameters.setPreviewFrameRate(10);
        //設定尺寸
        parameters.setPreviewSize(preV.getWidth(), preV.getHeight());
        mCamera.setParameters(parameters);
        //設定回撥的類
        mCamera.setPreviewCallback(new ViewCallback(preV, this));
        //開始預覽
         mCamera.startPreview();
    } catch (Exception e) {
        //釋放相機
         mCamera.release();
        mCamera = null;
        return;
    }
}

然後看看我們的ViewCallback類

在這個類裡面要實現PreviewCallback

主要是裡面的 public void onPreviewFrame(byte[] data, Camera arg1) {}

data就是返回的資料流了, 不過麻煩的是這個流並不是rgb編碼的,是YUV420SP編碼的,

Camera.Parameters 裡面有個setPreviewFormat()  這個雖然可以設定 但是具體能不能編碼成JPEG是受你的手機影響的

老老實實得解碼吧...網上關於YUV420SP編碼的內容相當相當少..

    static public void decodeYUV420SP(byte[] rgbBuf, byte[] yuv420sp, int width, int height) {
    	final int frameSize = width * height;
		if (rgbBuf == null)
			throw new NullPointerException("buffer 'rgbBuf' is null");
		if (rgbBuf.length < frameSize * 3)
			throw new IllegalArgumentException("buffer 'rgbBuf' size "
					+ rgbBuf.length + " < minimum " + frameSize * 3);

		if (yuv420sp == null)
			throw new NullPointerException("buffer 'yuv420sp' is null");

		if (yuv420sp.length < frameSize * 3 / 2)
			throw new IllegalArgumentException("buffer 'yuv420sp' size " + yuv420sp.length
					+ " < minimum " + frameSize * 3 / 2);

    	int i = 0, y = 0;
    	int uvp = 0, u = 0, v = 0;
    	int y1192 = 0, r = 0, g = 0, b = 0;

    	for (int j = 0, yp = 0; j < height; j++) {
    		uvp = frameSize + (j >> 1) * width;
    		u = 0;
    		v = 0;
    		for (i = 0; i < width; i++, yp++) {
    			y = (0xff & ((int) yuv420sp[yp])) - 16;
    			if (y < 0) y = 0;
    			if ((i & 1) == 0) {
    				v = (0xff & yuv420sp[uvp++]) - 128;
    				u = (0xff & yuv420sp[uvp++]) - 128;
    			}

    			y1192 = 1192 * y;
    			r = (y1192 + 1634 * v);
    			g = (y1192 - 833 * v - 400 * u);
    			b = (y1192 + 2066 * u);

    			if (r < 0) r = 0; else if (r > 262143) r = 262143;
    			if (g < 0) g = 0; else if (g > 262143) g = 262143;
    			if (b < 0) b = 0; else if (b > 262143) b = 262143;

    			rgbBuf[yp * 3] = (byte)(r >> 10);
    			rgbBuf[yp * 3 + 1] = (byte)(g >> 10);
    			rgbBuf[yp * 3 + 2] = (byte)(b >> 10);
    		}
    	}
    }

具體怎麼實現的我就不是很清楚了..好像是灰度在前面 然後把藍色和青色混合成一個變數跟在後面..

但是呢.這個方法效率很低..特別是些cpu差的機器

可以數數..每次都是橫向*縱向 演算法複雜度挺高的..

然後我把他壓縮了10倍..就是每隔10個點取一次,效率瞬間就上來了.

現在執行你的程式, 你可能會發現攝像頭的樣子很奇怪。

其實是因為螢幕方向的問題

把你的螢幕設定為永久橫向即可

this.setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);
//覆蓋螢幕 不顯示通知欄
this.requestWindowFeature(Window.FEATURE_NO_TITLE);
getWindow().setFlags(WindowManager.LayoutParams.TYPE_STATUS_BAR, WindowManager.LayoutPar