2. 程式人生 > >Android中使用MediaCodec硬體解碼,高效率得到YUV格式幀,快速儲存JPEG圖片(不使用OpenGL)

Android中使用MediaCodec硬體解碼,高效率得到YUV格式幀,快速儲存JPEG圖片(不使用OpenGL)

阿新 • • 發佈：2018-12-10

特點

以H.264編碼解析度1920x1080視訊檔案為例

  • 需要Android API 21
  • 直接將視訊解碼為YUV格式幀，不經過OpenGL，不轉換為RGB
  • 對絕大多數裝置和絕大多數視訊編碼格式，都可以解碼得到NV21或I420格式幀資料
  • 30ms內獲得NV21或I420格式幀資料
  • 10ms內將NV21或I420格式幀資料寫入到檔案
  • 對得到的NV21格式幀資料，在110ms內完成JPEG格式的轉換和寫入到檔案

背景

因為實驗需要在Android上高效率解碼視訊檔案，並獲得YUV格式幀資料，遂搜尋尋找解決方法。最初找到bigflake的Android MediaCodec stuff，硬體解碼視訊不可多得的示例程式碼，其中提供了結合MediaCodec和OpenGL硬體解碼視訊並得到RGB格式幀資料，以及寫入bitmap圖片到檔案的方法，測試發現效果不錯，但我想要的是得到YUV格式的幀資料；在繼續尋找RGB轉YUV的方法時，苦於沒有找到高效實現這個轉換的方法，遂作罷。

後來發現MediaCodec解碼得到的原始幀資料應當就是YUV格式，然後看到stackoverflow上的討論Why doesn't the decoder of MediaCodec output a unified YUV format(like YUV420P)?，發現有人和我有一樣的需要，但他已經發現了不同裝置MediaCodec解碼得到的YUV格式不相同這個問題，且由於各種格式繁雜，很難寫出高效的格式轉換方法。然後又發現了來自加州理工學院的一篇文章Android MediaCodec Formats，別人統計了市面上Android裝置MediaCodec解碼得到的不同YUV格式所佔的比例，表格中顯示出格式之繁多，且以COLOR_QCOM_FormatYUV420SemiPlanar32m，OMX_QCOM_COLOR_FormatYUV420PackedSemiPlanar64x32Tile2m8ka和COLOR_FormatYUV420SemiPlanar佔據絕大多數。考慮放棄MediaCodec直接得到統一格式的YUV格式幀資料。

再後來不死心繼續找，偶然找到了一份Android CTS測試Image和ImageReader類的程式碼，發現了由MediaCodec解碼直接得到指定YUV格式（如NV21，I420）視訊幀的方法，遂有了此文。

概述

簡單來說，整個過程是，MediaCodec將編碼後的視訊檔案解碼得到YUV420類的視訊幀，然後將視訊幀格式轉換為NV21或I420格式，由使用者進行後續處理；若需要寫入.yuv檔案，直接將轉換後的資料寫入即可。若需要儲存為JPEG格式圖片，將NV21格式幀資料轉換為JPEG格式並寫入。

詳細來說，CTS測試中透露出可以指定硬體解碼得到幀編碼格式，雖然不同裝置支援的編碼格式都不盡相同，但得益於API 21加入的COLOR_FormatYUV420Flexible格式，MediaCodec的所有硬體解碼都支援這種格式。但這樣解碼後得到的YUV420的具體格式又會因裝置而異，如YUV420Planar，YUV420SemiPlanar，YUV420PackedSemiPlanar等。然而又得益於API 21對MediaCodec加入的Image

類的支援，可以實現簡單且高效的任意YUV420格式向如NV21，I420等格式的轉換，這樣就得到了一個統一的、可以預先指定的YUV格式視訊幀。再進一步，YuvImage類提供了一種高效的NV21格式轉換為JPEG格式並寫入檔案的方法，可以實現將解碼得到的視訊幀儲存為JPEG格式圖片的功能，且整個過程相比bigflake中提供的YUV經OpenGL轉換為RGB格式，然後通過Bitmap類儲存為圖片，效率高很多。

MediaCodec指定幀格式

實際上，MediaCodec不僅在編碼，而且在解碼是也能夠指定幀格式。能夠指定的原因是，解碼得到的幀的格式，並不是由如H.264編碼的視訊檔案提前確定的，而是由解碼器確定的，解碼器支援哪些幀格式，就可以解碼出哪些格式的幀。

獲取支援的格式

MediaCodec雖然可以指定幀格式，但也不是能指定為任意格式，是需要硬體支援的。首先看看對於特定視訊編碼格式的MediaCodec解碼器，支援哪些幀格式。

複製程式碼

private static int selectTrack(MediaExtractor extractor) {
    int numTracks = extractor.getTrackCount();
    for (int i = 0; i < numTracks; i++) {
        MediaFormat format = extractor.getTrackFormat(i);
        String mime = format.getString(MediaFormat.KEY_MIME);
        if (mime.startsWith("video/")) {
            if (VERBOSE) {
                Log.d(TAG, "Extractor selected track " + i + " (" + mime + "): " + format);
            }
            return i;
        }
    }
    return -1;
}

private void showSupportedColorFormat(MediaCodecInfo.CodecCapabilities caps) {
    System.out.print("supported color format: ");
    for (int c : caps.colorFormats) {
        System.out.print(c + "\t");
    }
    System.out.println();
}

MediaExtractor extractor = null;
MediaCodec decoder = null;
File videoFile = new File(videoFilePath);
extractor = new MediaExtractor();
extractor.setDataSource(videoFile.toString());
int trackIndex = selectTrack(extractor);
if (trackIndex < 0) {
    throw new RuntimeException("No video track found in " + videoFilePath);
}
extractor.selectTrack(trackIndex);
MediaFormat mediaFormat = extractor.getTrackFormat(trackIndex);
String mime = mediaFormat.getString(MediaFormat.KEY_MIME);
decoder = MediaCodec.createDecoderByType(mime);
showSupportedColorFormat(decoder.getCodecInfo().getCapabilitiesForType(mime));

複製程式碼

MediaExtractor負責讀取視訊檔案，獲得視訊檔案資訊，以及提供 視訊編碼後的幀資料（如H.264）。selectTrack()獲取視訊所在的軌道號，getTrackFormat()獲得視訊的編碼資訊。再以此編碼資訊通過createDecoderByType()獲得一個解碼器，然後通過showSupportedColorFormat()就可以得到這個解碼器支援的幀格式了。

比如對於我的裝置，對於支援video/avc的解碼器，支援的幀格式是

supported color format: 2135033992  21  47  25  27  35  40  52  2130706433  2130706434  20

這裡的數字對應MediaCodecInfo.CodecCapabilities定義的幀格式，如2135033992對應COLOR_FormatYUV420Flexible，21對應COLOR_FormatYUV420SemiPlanar，25對應COLOR_FormatYCbYCr，27對應COLOR_FormatCbYCrY，35對應COLOR_FormatL8，40對應COLOR_FormatYUV422PackedSemiPlanar，20對應COLOR_FormatYUV420PackedPlanar。

COLOR_FormatYUV420Flexible

這裡簡單談談COLOR_FormatYUV420Flexible，YUV420Flexible並不是一種確定的YUV420格式，而是包含COLOR_FormatYUV411Planar, COLOR_FormatYUV411PackedPlanar, COLOR_FormatYUV420Planar, COLOR_FormatYUV420PackedPlanar, COLOR_FormatYUV420SemiPlanar和COLOR_FormatYUV420PackedSemiPlanar。在API 21引入YUV420Flexible的同時，它所包含的這些格式都deprecated掉了。

那麼為什麼所有的解碼器都支援YUV420Flexible呢？官方沒有說明這點，但我猜測，只要解碼器支援YUV420Flexible中的任意一種格式，就會被認為支援YUV420Flexible格式。也就是說，幾乎所有的解碼器都支援YUV420Flexible代表的格式中的一種或幾種。

指定幀格式

平常初始化MediaCodec並啟動解碼器是用如下程式碼

decoder.configure(mediaFormat, null, null, 0);
decoder.start();

其中mediaFormat是之前得到的視訊編碼資訊，這樣向解碼器確定了各種引數後，就能正常解碼了。

而指定幀格式是在上述程式碼前增加

mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT,
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);

僅此一行，用來指定解碼後的幀格式，換句話說，解碼器將編碼的幀解碼為這種指定的格式。前面說到YUV420Flexible是幾乎所有解碼器都支援的，所以可以直接寫死。

這個指定方法就是我在CTS中發現的，因為官方文件對KEY_COLOR_FORMAT的描述是set by the user for encoders, readable in the output format of decoders，也就是說只用在編碼器中，而不是我們現在用的解碼器中！

轉換格式和寫入檔案

主體框架

先貼主體部分的程式碼

複製程式碼

final int width = mediaFormat.getInteger(MediaFormat.KEY_WIDTH);
final int height = mediaFormat.getInteger(MediaFormat.KEY_HEIGHT);
int outputFrameCount = 0;
while (!sawOutputEOS) {
    if (!sawInputEOS) {
        int inputBufferId = decoder.dequeueInputBuffer(DEFAULT_TIMEOUT_US);
        if (inputBufferId >= 0) {
            ByteBuffer inputBuffer = decoder.getInputBuffer(inputBufferId);
            int sampleSize = extractor.readSampleData(inputBuffer, 0);
            if (sampleSize < 0) {
                decoder.queueInputBuffer(inputBufferId, 0, 0, 0L, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                sawInputEOS = true;
            } else {
                long presentationTimeUs = extractor.getSampleTime();
                decoder.queueInputBuffer(inputBufferId, 0, sampleSize, presentationTimeUs, 0);
                extractor.advance();
            }
        }
    }
    int outputBufferId = decoder.dequeueOutputBuffer(info, DEFAULT_TIMEOUT_US);
    if (outputBufferId >= 0) {
        if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
            sawOutputEOS = true;
        }
        boolean doRender = (info.size != 0);
        if (doRender) {
            outputFrameCount++;
            Image image = decoder.getOutputImage(outputBufferId);
            if (outputImageFileType != -1) {
                String fileName;
                switch (outputImageFileType) {
                    case FILE_TypeI420:
                        fileName = OUTPUT_DIR + String.format("frame_%05d_I420_%dx%d.yuv", outputFrameCount, width, height);
                        dumpFile(fileName, getDataFromImage(image, COLOR_FormatI420));
                        break;
                    case FILE_TypeNV21:
                        fileName = OUTPUT_DIR + String.format("frame_%05d_NV21_%dx%d.yuv", outputFrameCount, width, height);
                        dumpFile(fileName, getDataFromImage(image, COLOR_FormatNV21));
                        break;
                    case FILE_TypeJPEG:
                        fileName = OUTPUT_DIR + String.format("frame_%05d.jpg", outputFrameCount);
                        compressToJpeg(fileName, image);
                        break;
                }
            }
            image.close();
            decoder.releaseOutputBuffer(outputBufferId, true);
        }
    }
}

複製程式碼

上述程式碼是MediaCodec解碼的一般框架，不作過多解釋。 不同於bigflake的是MediaCodec解碼的輸出沒有指定一個Surface，而是利用API 21新功能，直接通過getOutputImage()將視訊幀以Image的形式取出。

而我們現在得到的Image就可以確定是YUV420Flexible格式，而得益於Image類的抽象，我們又可以非常方便地將其轉換為NV21或I420格式。關於具體的轉換和寫入檔案的細節，參見我的另一篇文章Android: YUV_420_888編碼Image轉換為I420和NV21格式byte陣列。

總結

這篇文章餅畫的很大，但寫的很短，因為還有一大部分內容在如上鍊接中的文章中講到。對於僅僅需要將視訊切分為一幀一幀並儲存為圖片的使用者來說，使用這種方法比bigflake的方法會快10倍左右，因為沒有OpenGL渲染，以及轉換為Bitmap的開銷。而對於需要獲得視訊幀YUV格式資料的使用者來說，這種方法能夠直接得到YUV格式資料，中間沒有數學運算，不會出現不必要的精度損失，而且，也是效率最高的。

此方法的核心原理就是通過指定解碼器引數，保證瞭解碼得到的幀格式一定是YUV420Flexible；通過Image實現了健壯且高效的YUV格式轉換方法；通過YuvImage實現了快速的JPEG格式圖片生成和寫入的方法。

Demo

依照上面的描述，本文附帶了一個Android APP Demo，指定輸入視訊檔案和輸出資料夾名，此APP可將視訊幀儲存為I420、NV21或JPEG格式。如有需要，請點選zhantong/Android-VideoToImages。

轉自：

MediaCodec的使用demo：

https://github.com/vecio/MediaCodecDemo

https://github.com/taehwandev/MediaCodecExample

http://bigflake.com/mediacodec/

相關推薦

Android中使用MediaCodec硬體解碼,高效率得到YUV格式幀,快速儲存JPEG圖片(不使用OpenGL)

特點 以H.264編碼解析度1920x1080視訊檔案為例 需要Android API 21 直接將視訊解碼為YUV格式幀，不經過OpenGL，不轉換為RGB 對絕大多數裝置和絕大多數視訊編碼格式，都可以解碼得到NV21或I420格式幀資料 30ms內獲得NV21或

Android使用MediaCodec硬解碼播放H264格式視訊檔案

前些時間，通過各種搜尋加請教了好幾個同行的朋友，在他們的指點下實現： RTSP+H264實時視訊播放播放及把實時視訊流儲存到手機SD卡中，再對儲存的H264格式檔案進行播放等基本功能。 非常感謝這些朋友的無私幫忙，在實現功能的同時，我也把他們提供的一

Android中的硬體加速

從Android 3.0開始，Android的2D渲染管線可以更好的支援硬體加速。硬體加速使用GPU進行View上的繪製操作。 硬體加速可以在一下四個級別開啟或關閉： ApplicationActivityWindowView Application級別 往您的應用

請問android使用MediaCodec進行解碼，就是硬解碼嗎？軟解碼和硬解碼的優先順序是怎樣的?

在MediaCodec裡有介面可以列舉所有解碼格式，每種編碼可能都有多個解碼器。 MediaCodec mediaCodec = MediaCodec.createDecoderByType("video/avc"); 我的應用裡面接收的是H264編碼資料，

android 使用MediaCodec 編解碼總結（最全）

導言 本文將主要介紹在安卓中呼叫MediaCodec類實現視訊檔案的硬解碼，以及如何將以byte[]型別儲存的影象資料通過硬編碼合成視訊檔案。 1.MediaCodec類的編解碼原理 參考連結：https://developer.Android.com/reference/and

Android中GPU硬體加速控制及其在2D圖形繪製上的侷限

圖形的渲染可分為兩種：軟體渲染和硬體渲染。軟體渲染是靠CPU計算各種座標並繪製，主要是佔用記憶體；硬體渲染是靠GPU，主要佔用視訊記憶體，一般的3D圖形程式（OpenGL、DirectX）都是GPU加速的。 在Android3.0之前，2D繪圖API只支援軟體

Android中EditText的setInputType()方法設定輸入型別&&設定密碼輸入框密碼不可見

在Android開發過程中，經常使用到EditText控制元件，有時需要在程式碼裡動態設定輸入型別，設定EditText輸入型別主要有兩種方法，一種是使用EditText的setInputType()方法，另一種是在佈局檔案中使用android:inputTyp

Android基礎控件——ImageView的自定義，巧用Matrix實現圖片不變形的炫酷PK條

imageview The nco version chang fst handler mpat sage 前言 在開發中常常會遇到PK條制作，如果在PK條中是純色的情況下，比較好辦，如下：我們通常會設置其權重進行更新兩個PK條的進度，實現起來也簡單 //更新PkBar寬度

Android中使用commons-codec-1.6.jar 進行Base64編解碼出現的問題

deb 分享 == 通過 HR common jar hive java 編碼時出現異常： java.lang.NoSuchMethodError: No static method encodeBase64String([B)Ljava/lang/String; i

FFmpeg In Android - H264碼流解碼/儲存Yuv

本節例子原始碼_NativeH264Android,修改自ffmpeg原始碼目錄/doc/examples/decode_video.c H264的碼流結構 H.264原始碼流（又稱為“裸流”）是由一個一個的NALU組成的，包括I幀，B幀，P幀等等，他們的結構如下圖所示： 其中每個

android中如何使用GPU實現硬體加速，3D渲染

已開通新的部落格，後續文字都會發到新部落格 http://www.0xfree.top --- 首先來看一些名詞解釋     GPU：Graphic  Processing Unit （圖形處理器）&nb

WebRTC Android端軟體/硬體編解碼的策略

以編碼策略為例，解碼的策略一樣。 1.編碼硬體加速全域性開關        首先WebRTC的介面可以設定是否支援硬體加速，如果App設定為支援的話，將使用基於MediaCodec的編碼器工廠以及對應的硬體編碼器，否則將使用內建的軟體編碼器(編碼需要編

Android利用mediacodec進行視訊H264編碼解碼播放

H264是目前最常用的視訊壓縮格式之一，可以將視訊、圖片、音訊等轉換為字串流形式，以此可以進行再次編輯、傳輸等。詳情參考http://blog.csdn.net/lcalqf/article/det

Android中攝像頭獲取的YUV資料轉Opencv的Mat

背景 在onPreviewFrame方法中獲取的byte[] data資料為420sp格式，排列順序為width*height個Y(亮度資訊，就是我們常見的灰度影象），後面是UV（顏色資訊），4個Y共享一個U和V，故byte陣列的總大小是width*height

Android音視訊(四)MediaCodec編解碼AAC

Android音視訊(一) Camera2 API採集資料 Android音視訊(二)音訊AudioRecord和AudioTrack Android音視訊(三)FFmpeg Camera2推流直播 MediaCodec類可以訪問底層媒體編解碼框架（StageFright 或 OpenMAX），即編解碼

Android音視訊編解碼庫MediaCodec

MediaCodec類可用於訪問低階媒體編解碼器，即編碼器/解碼器元件。 它是Android低階多媒體支援基礎架構的一部分（通常與MediaExtractor，MediaSync，MediaMuxer，MediaCrypto，MediaDrm，Image，Surface和Au

Android之ffmpeg-H264解碼-移植ffmpeg中的H264解碼部分到Android

H264解碼器原始碼，移植ffmpeg中的H264解碼部分到Android，深度刪減優化，在模擬器(320x480)中驗證通過。 程式的採用jni架構。介面部分，檔案讀取，視訊顯示都是用java做的，底層的視訊解碼用C來做滿足速度的要求。 在這個版本中，從H264碼

Android中MediaMuxer和MediaCodec用例

在Android的多媒體類中，MediaMuxer和MediaCodec算是比較年輕的，它們是JB 4.1和JB 4.3才引入的。前者用於將音訊和視訊進行混合生成多媒體檔案。缺點是目前只能支援一個audio track和一個video track，而且僅支援mp4輸出。不過

Android中Recyclerview使用6----新增條目得到點選事件和長按事件(另一種寫法，較簡單)

效果圖 activity中： MainActivity <span style="font-size:18px;">public class MainActivity extends Activity { // private Recycler

Android中的線程

開發者 又是 ace appcompat 技術 ted unknown 消息通知 設計模型 本文轉自：http://www.jianshu.com/p/d59b3cce2b54 如何理解線程 在操作系統中，線程是操作系統調度的最小單元，同時線程又是一種受限的系統資源，即