上面的都是基於Android的高階應用層API來實現的音視訊的採集和編碼，下面我們要開啟攝像頭通過OpenGL ES底層native程式碼來渲染視訊畫面。

簡介

總體的思路是從攝像頭採集到視訊的資料，然後傳遞給底層的OpenGL ES來渲染顯示到上層的SurfaceView上面，專案總體檔案結構如下：

下面的實現列出關鍵的步驟和程式碼，完整的專案程式碼文章末尾列出。

Java上層程式碼實現

這裡主要是Android應用層的Camera的一些配置切換等操作，並且通過native介面呼叫底層的實現程式碼
程式碼簡單類圖：

前面的一些許可權配置等基礎的程式碼就不列出。主要類是LPreviewScheduler.java檔案

• LPreviewView:SurfaceView繼承封裝類
• LVideoCamera:封裝操作Camera的一些方法

• LPreviewScheduler:總體排程器，包含上面兩個類，並且對外提供應用介面

  上面的操作Camera的類LVideoCamera.java是基於Camera來做的，詳細可見以前文章的一些介紹。下面主要列出LPreviewScheduler的程式碼實現。

package com.lyman.camerapreview.preview;

import android.hardware.Camera.CameraInfo;
import android.util.Log;
import android.view.Surface;
import
 
 android.view.SurfaceHolder;

public class LPreviewScheduler
        implements LVideoCamera.LVideoCameraCallback, LPreviewView.LPreviewViewCallback {
    static {
        System.loadLibrary("camerapreview");
    }
    private static final String TAG = "LPreviewScheduler";
    private LPreviewView mPreviewView;
    private
 
 LVideoCamera mCamera;

    public LPreviewScheduler(LPreviewView previewView, LVideoCamera camera) {
        isStopped = false;
        this.mPreviewView = previewView;
        this.mCamera = camera;
        this.mPreviewView.setCallback(this);
        this.mCamera.setCallback(this);
    }

    public int getNumberOfCameras() {
        if (null != mCamera) {
            return mCamera.getNumberOfCameras();
        }
        return -1;
    }

    /** 切換攝像頭, 底層會在返回來呼叫configCamera, 之後在啟動預覽 **/
    public native void switchCameraFacing();

    private boolean isFirst = true;
    private boolean isSurfaceExsist = false;
    private boolean isStopped = false;
    private int defaultCameraFacingId = CameraInfo.CAMERA_FACING_FRONT;
    @Override
    public void createSurface(Surface surface, int width, int height){
        startPreview(surface, width, height, defaultCameraFacingId);
    }
    private void startPreview(Surface surface, int width, int height, final int cameraFacingId){
        if (isFirst) {
            prepareEGLContext(surface, width, height, cameraFacingId);
            isFirst = false;
        } else {
            createWindowSurface(surface);
        }
        isSurfaceExsist = true;
    }
    public void startPreview(final int cameraFacingId){
        try {
            if(null != mPreviewView){
                SurfaceHolder holder = mPreviewView.getHolder();
                if(null != holder){
                    Surface surface = holder.getSurface();
                    if(null != surface){
                        startPreview(surface, mPreviewView.getWidth(), mPreviewView.getHeight(), cameraFacingId);
                    }
                }
            }
        } catch (Throwable e) {
            e.printStackTrace();
        }
    }
    public native void prepareEGLContext(Surface surface, int width, int height, int cameraFacingId);
    public native void createWindowSurface(Surface surface);

    @Override
    public native void resetRenderSize(int width, int height);

    @Override
    public void destroySurface(){
        if(isStopped){
            this.stopPreview();
        } else{
            this.destroyWindowSurface();
        }
        isSurfaceExsist = false;
    }

    public void stop() {
        isStopped = true;
        if(!isSurfaceExsist){
            this.stopPreview();
        }
    }
    private void stopPreview(){
        this.destroyEGLContext();
        isFirst = true;
        isSurfaceExsist = false;
        isStopped = false;
    }
    public native void destroyWindowSurface();
    public native void destroyEGLContext();

    /**
     * 當Camera捕捉到了新的一幀影象的時候會呼叫這個方法,因為更新紋理必須要在EGLThread中,
     * 所以配合下updateTexImageFromNative使用
     **/
    @Override
    public native void notifyFrameAvailable();

    public void onPermissionDismiss(String tip){
        Log.i("problem", "onPermissionDismiss : " + tip);
    }

    private CameraConfigInfo mConfigInfo;
    /** 當底層建立好EGLContext之後，回調回來配置Camera，返回Camera的配置資訊，然後在EGLThread執行緒中回調回來繼續做Camera未完的配置以及Preview **/
    public CameraConfigInfo configCameraFromNative(int cameraFacingId){
        defaultCameraFacingId = cameraFacingId;
        mConfigInfo = mCamera.configCameraFromNative(cameraFacingId);
        return mConfigInfo;
    }
    /** 當底層EGLThread建立初紋理之後,設定給Camera **/
    public void startPreviewFromNative(int textureId) {
        mCamera.setCameraPreviewTexture(textureId);
    }
    /** 當底層EGLThread更新紋理的時候呼叫這個方法 **/
    public void updateTexImageFromNative() {
        mCamera.updateTexImage();
    }
    /** 釋放掉當前的Camera **/
    public void releaseCameraFromNative(){
        mCamera.releaseCamera();
    }

}

從開始顯示到停止的過程通過下面的圖串一遍

上層程式碼還是比較簡單的。

Native層程式碼分析

下面主要介紹底層的C++實現程式碼。

配置專案

首先看一下C++檔案的目錄結構：

上面我配置了兩個輸出so庫，一個commontool和一個camerapreview庫，其中camerapreview引用commontool中的實現程式碼。
CmakeLists.txt在專案中的配置略，看其中的配置C++程式碼如下：

cmake_minimum_required(VERSION 3.4.1)
find_library( # Sets the name of the path variable.
              log-lib

              # Specifies the name of the NDK library that
              # you want CMake to locate.
              log )

set(PATH_TO_ROOT ${CMAKE_SOURCE_DIR}/src/main/cpp)

include_directories(${PATH_TO_ROOT}/libcommon/)

file(GLOB FILES_LIB_COMMON "${PATH_TO_ROOT}/libcommon/*.cpp")
file(GLOB FILES_LIB_COMMON_EGL_CORE "${PATH_TO_ROOT}/libcommon/egl_core/*.cpp")
file(GLOB FILES_LIB_COMMON_MSG_Q "${PATH_TO_ROOT}/libcommon/message_queue/*.cpp")
file(GLOB FILES_LIB_COMMON_GL_MEDIA "${PATH_TO_ROOT}/libcommon/opengl_media/*.cpp")
file(GLOB FILES_LIB_COMMON_GL_MEDIA_RENDER "${PATH_TO_ROOT}/libcommon/opengl_media/render/*.cpp")
file(GLOB FILES_LIB_COMMON_GL_MEDIA_TEXTURE "${PATH_TO_ROOT}/libcommon/opengl_media/texture/*.cpp")
file(GLOB FILES_LIB_COMMON_GL_MEDIA_TEXTURE_COPIER "${PATH_TO_ROOT}/libcommon/opengl_media/texture_copier/*.cpp")
file(GLOB FILES_LIB_COMMON_SL_MEDIA "${PATH_TO_ROOT}/libcommon/opensl_media/*.cpp")

add_library( # Sets the name of the library.
             commontool

             # Sets the library as a shared library.
             SHARED

             # Provides a relative path to your source file(s).
             ${FILES_LIB_COMMON}
             ${FILES_LIB_COMMON_EGL_CORE}
             ${FILES_LIB_COMMON_MSG_Q}
             ${FILES_LIB_COMMON_GL_MEDIA}
             ${FILES_LIB_COMMON_GL_MEDIA_RENDER}
             ${FILES_LIB_COMMON_GL_MEDIA_TEXTURE}
             ${FILES_LIB_COMMON_GL_MEDIA_TEXTURE_COPIER}
             ${FILES_LIB_COMMON_SL_MEDIA}
             )

# Include libraries needed for renderer lib
target_link_libraries(
                      commontool
                      ${log-lib}
                      android
                      GLESv2
                      EGL
                      OpenSLES)

include_directories(${PATH_TO_ROOT}/camera_preview/)

file(GLOB FILES_LIB_CAMERA_PREVIEW "${PATH_TO_ROOT}/camera_preview/*.cpp")

add_library( # Sets the name of the library.
             camerapreview

             # Sets the library as a shared library.
             SHARED

             # Provides a relative path to your source file(s).
             ${FILES_LIB_CAMERA_PREVIEW}
             ${PATH_TO_ROOT}/LPreviewScheduler.cpp
             )

# Include libraries needed for renderer lib
target_link_libraries(
                      camerapreview
                      commontool)

其中核心互動的類檔案為mv_recording_preview_controller.cpp，它與上層的互動過程已經在上面列出來，下面主要分析這個類的實現。

實現程式碼

類檔案mv_recording_preview_controller.cpp為和上層互動的主要集合類，串聯了其他各個模組的實現。
主要的使用類如下：

• MVRecordingPreviewHandler：實現了訊息機制，上層所有方法的呼叫通過它轉發到訊息佇列呼叫
• EGLSurface：通過接受上層的Surface構造顯示檢視
• render_preview_renderer:渲染檢視邏輯處理類，這個裡面主要是OpenGL ES相關的實現程式碼

底層的實現的程式碼還是在OpenGL ES的渲染部分，裡面的細節實現程式碼還沒有完全弄明白，這裡先串聯出整個的渲染的流程，具體細節日後慢慢了解了再細究。下面是render_preview_renderer.cpp的實現大體流程：

其中渲染模組的OpenGL程式碼沒有完全吃透。待以後補充。