2. 程式人生 > >Android硬體編碼－音視訊編碼以及音視訊混合

Android硬體編碼－音視訊編碼以及音視訊混合

阿新 • • 發佈：2019-01-28

概述

通常來說，對於同一平臺同一硬體環境，硬編硬解的速度是快於軟體編解碼的。而且相比軟體編解碼的高CPU佔用率來說，硬體編解碼也有很大的優勢，所以在硬體支援的情況下，一般硬體編解碼是我們的首選。 
在Android中，我們可以直接使用MediaRecord來進行錄影，但是在很多適合MediaRecord並不能滿足我們的需求，比如我們需要對錄製的視訊加水印或者其他處理後，所有的平臺都按照同一的大小傳輸到伺服器等。 
在本篇部落格中，將會講到的是利用AudioRecord錄音，利用OpenGL渲染相機資料並做處理。然後利用MediaCodec對音訊和視訊分別進行編碼，使用MediaMuxer將編碼後的音視訊進行混合儲存為Mp4的編碼過程與程式碼示例。 
值得注意的是，音視訊編解碼用到的MediaCodec是Android 4.1新增的API，音視訊混合用到的MediaMuxer是Android 4.3新增的API，所以本篇部落格的示例只實用於Android 4.3以上的裝置。

AudioRecord（錄音API）

AudioRecord是相對MediaRecord更為底層的API，使用AudioRecord也可以很方便的完成錄音功能。AudioRecord錄音錄製的是原始的PCM音訊資料，我們可以使用AudioTrack來播放PCM音訊檔案。 
AudioRecord最簡單的使用程式碼如下：

private int sampleRate=44100;   //取樣率，預設44.1k
private int channelCount=2;     //音訊取樣通道，預設2通道
private int channelConfig=AudioFormat.CHANNEL_IN_STEREO;        //通道設定，預設立體聲
 

private int audioFormat=AudioFormat.ENCODING_PCM_16BIT;     //設定取樣資料格式，預設16位元PCM
private FileOutputStream fos;       //用於保存錄音檔案

//音訊錄製例項化和錄製過程中需要用到的資料
bufferSize = AudioRecord.getMinBufferSize(sampleRate, channelConfig, audioFormat)*2;
buffer=new byte[bufferSize];

//例項化AudioRecord
mRecorder=new AudioRecord(MediaRecorder.AudioSource.MIC,sampleRate,channelConfig,
    audioFormat,bufferSize);

//開始錄製
 

mRecorder.startRecording();

//迴圈讀取資料到buffer中，並儲存buffer中的資料到檔案中
int length=mRecorder.read(buffer,0,bufferSize);
fos.write(buffer,0,length);

//中止迴圈並結束錄製
isRecording=false;
mRecorder.stop();

按照上面的步驟，我們就能成功的錄製PCM音訊檔案了，但是處於傳輸和儲存方面的考慮，一般來說，我們是不會直接錄製PCM音訊檔案的。而是在錄製過程中就對音訊資料進行編碼為aac、mp3、wav等其他格式的音訊檔案。

MediaCodec（硬體編解碼API）

理解MediaCodec

MediaCodec的使用在Android Developer官網上有詳細的說明。官網上的圖能夠很好的說明MediaCodec的使用方式。我們只需理解這個圖，然後熟悉下MediaCodec的API就可以很快的上手使用MediaCodec來進行音視訊的編解碼工作了。 
MediaCodec 
針對於上圖，我們可以把InputBuffers和OutputBuffers簡單的理解為它們共同組成了一個環形的傳送帶，傳送帶上鋪滿了空盒子。編解碼開始後，我們需要得到一個空盒子（dequeueInputBuffer），然後往空盒子中填充原料（需要被編/解碼的音/視訊資料），並且放回到傳送帶你取出時候的那個位置上面（queueInputBuffer）。傳送帶經過處理器（Codec）後，盒子裡面的原料被加工成了你所期望的東西（編解碼後的資料），你就可以按照你放入原料時候的順序，連帶著盒子一起取出加工好的東西（dequeueOutputBuffer），並將取出來的東西貼標籤（加資料頭之類的非必須）和裝箱（組合編碼後的幀資料）操作，同樣之後也要把盒子放回到原來的位置（releaseOutputBuffer）。

音訊編碼例項

在官網上有更規範的使用示例，結合上面的音訊錄製，編碼為AAC音訊檔案示例程式碼如下：

private String mime = "audio/mp4a-latm";    //錄音編碼的mime
private int rate=256000;                    //編碼的key bit rate

//相對於上面的音訊錄製，我們需要一個編碼器的例項
MediaFormat format=MediaFormat.createAudioFormat(mime,sampleRate,channelCount);
format.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectLC);
format.setInteger(MediaFormat.KEY_BIT_RATE, rate);
mEnc=MediaCodec.createEncoderByType(mime);
mEnc.configure(format,null,null,MediaCodec.CONFIGURE_FLAG_ENCODE);  //設定為編碼器

//同樣，在設定錄音開始的時候，也要設定編碼開始
mEnc.start();

//之前的音訊錄製是直接迴圈讀取，然後寫入檔案，這裡需要做編碼處理再寫入檔案
//這裡的處理就是和之前傳送帶取盒子放原料的流程一樣了，注意一般在子執行緒中迴圈處理
int index=mEnc.dequeueInputBuffer(-1);
if(index>=0){
    final ByteBuffer buffer=mEnc.getInputBuffer(index);
    buffer.clear();
    int length=mRecorder.read(buffer,bufferSize);
    if(length>0){
        mEnc.queueInputBuffer(index,0,length,System.nanoTime()/1000,0);
    }
}
MediaCodec.BufferInfo mInfo=new MediaCodec.BufferInfo();
int outIndex;
//每次取出的時候，把所有加工好的都迴圈取出來
do{
    outIndex=mEnc.dequeueOutputBuffer(mInfo,0);
    if(outIndex>=0){
        ByteBuffer buffer=mEnc.getOutputBuffer(outIndex);
        buffer.position(mInfo.offset);
        //AAC編碼，需要加資料頭，AAC編碼資料頭固定為7個位元組
        byte[] temp=new byte[mInfo.size+7];
        buffer.get(temp,7,mInfo.size);
        addADTStoPacket(temp,temp.length);
        fos.write(temp);
        mEnc.releaseOutputBuffer(outIndex,false);
    }else if(outIndex ==MediaCodec.INFO_TRY_AGAIN_LATER){
        //TODO something
    }else if(outIndex==MediaCodec.INFO_OUTPUT_FORMAT_CHANGED){
        //TODO something
    }
}while (outIndex>=0);

//編碼停止，傳送編碼結束的標誌，迴圈結束後，停止並釋放編碼器
mEnc.stop();
mEnc.release();

AAC編碼加檔案頭的實現參照AAC編碼規則，將資料填入就好了，網上很容易找到，具體實現如下：

/**
* 給編碼出的aac裸流新增adts頭欄位
* @param packet 要空出前7個位元組，否則會搞亂資料
* @param packetLen
*/
private void addADTStoPacket(byte[] packet, int packetLen) {
   int profile = 2;  //AAC LC
   int freqIdx = 4;  //44.1KHz
   int chanCfg = 2;  //CPE
   packet[0] = (byte)0xFF;
   packet[1] = (byte)0xF9;
   packet[2] = (byte)(((profile-1)<<6) + (freqIdx<<2) +(chanCfg>>2));
   packet[3] = (byte)(((chanCfg&3)<<6) + (packetLen>>11));
   packet[4] = (byte)((packetLen&0x7FF) >> 3);
   packet[5] = (byte)(((packetLen&7)<<5) + 0x1F);
   packet[6] = (byte)0xFC;
}

這樣，得到的檔案就是AAC音訊檔案了，一般Android系統自帶的播放器都可以直接播放。

視訊編碼例項

視訊的編碼和上面音訊的編碼也大同小異。攝像頭的資料回撥時間並不是確定的，就算你設定了攝像頭FPS範圍為30-30幀，它也不會每秒就一定給你30幀資料。Android攝像頭的資料回撥，受光線的影響非常嚴重，這是由HAL層的3A演算法決定的，你可以將自動曝光補償、自動白平光等等給關掉，這樣你才有可能得到穩定的幀率。 
而我們錄製並編碼視訊的時候，肯定是希望得到一個固定幀率的視訊。所以在視訊錄製並進行編碼的過程中，需要自己想些法子，讓幀率固定下來。最簡單也是最有效的做法就是，按照固定時間編碼，如果沒有新的攝像頭資料回撥來就用上一幀的資料。 
參考程式碼如下：

private String mime="video/avc";    //編碼的MIME
private int rate=256000;            //波特率，256kb
private int frameRate=24;           //幀率，24幀
private int frameInterval=1;        //關鍵幀一秒一關鍵幀

//和音訊編碼一樣，設定編碼格式，獲取編碼器例項
MediaFormat format=MediaFormat.createVideoFormat(mime,width,height);
format.setInteger(MediaFormat.KEY_BIT_RATE,rate);
format.setInteger(MediaFormat.KEY_FRAME_RATE,frameRate);
format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL,frameInterval);
//這裡需要注意，為了簡單這裡是寫了個固定的ColorFormat
//實際上，並不是所有的手機都支援COLOR_FormatYUV420Planar顏色空間
//所以正確的做法應該是，獲取當前裝置支援的顏色空間，並從中選取
format.setInteger(MediaFormat.KEY_COLOR_FORMAT, 
            MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar);
mEnc=MediaCodec.createEncoderByType(mime);
mEnc.configure(format,null,null,MediaCodec.CONFIGURE_FLAG_ENCODE);

//同樣，準備好了後，開始編碼器
mEnc.start();

//編碼器正確開始後，在子執行緒中迴圈編碼，固定位元速率的話，就是一個迴圈加上執行緒休眠的時間固定
//流程和音訊編碼一樣，取出空盒子，往空盒子裡面加原料，放回盒子到原處,
//盒子中原料被加工，取出盒子，從盒子裡面取出成品，放回盒子到原處
int index=mEnc.dequeueInputBuffer(-1);
if(index>=0){
    if(hasNewData){
        if(yuv==null){
            yuv=new byte[width*height*3/2];
        }
        //把傳入的rgba資料轉成yuv的資料，轉換在網上也是一大堆，不夠下面還是一起貼上吧
        rgbaToYuv(data,width,height,yuv);
    }
    ByteBuffer buffer=getInputBuffer(index);
    buffer.clear();
    buffer.put(yuv);
    //把盒子和原料一起放回到傳送帶上原來的位置
    mEnc.queueInputBuffer(index,0,yuv.length,timeStep,0);
}
MediaCodec.BufferInfo mInfo=new MediaCodec.BufferInfo();
//嘗試取出加工好的資料，和音訊編碼一樣，do while和while都行，覺得怎麼好怎麼寫
int outIndex=mEnc.dequeueOutputBuffer(mInfo,0);
while (outIndex>=0){
    ByteBuffer outBuf=getOutputBuffer(outIndex);
    byte[] temp=new byte[mInfo.size];
    outBuf.get(temp);
    if(mInfo.flags==MediaCodec.BUFFER_FLAG_CODEC_CONFIG){
        //把編碼資訊儲存下來，關鍵幀上要用
        mHeadInfo=new byte[temp.length];
        mHeadInfo=temp;
    }else if(mInfo.flags%8==MediaCodec.BUFFER_FLAG_KEY_FRAME){
        //關鍵幀比普通幀是多了個幀頭的，儲存了編碼的資訊
        byte[] keyframe = new byte[temp.length + mHeadInfo.length];
        System.arraycopy(mHeadInfo, 0, keyframe, 0, mHeadInfo.length);
        System.arraycopy(temp, 0, keyframe, mHeadInfo.length, temp.length);
        Log.e(TAG,"other->"+mInfo.flags);
        //寫入檔案
        fos.write(keyframe,0,keyframe.length);
    }else if(mInfo.flags==MediaCodec.BUFFER_FLAG_END_OF_STREAM){
        //結束的時候應該傳送結束訊號，在這裡處理
    }else{
        //寫入檔案
        fos.write(temp,0,temp.length);
    }
    mEnc.releaseOutputBuffer(outIndex,false);
    outIndex=mEnc.dequeueOutputBuffer(mInfo,0);
}

//資料的來源，GL處理好後，readpix出來的RGBA資料喂進來，
public void feedData(final byte[] data, final long timeStep){
    hasNewData=true;
    nowFeedData=data;
    nowTimeStep=timeStep;
}

//RGBA轉YUV的方法，這是最簡單粗暴的方式，在使用的時候，一般不會選擇在Java層，用這種方式做轉換
private void rgbaToYuv(byte[] rgba,int width,int height,byte[] yuv){
    final int frameSize = width * height;

    int yIndex = 0;
    int uIndex = frameSize;
    int vIndex = frameSize + frameSize/4;

    int R, G, B, Y, U, V;
    int index = 0;
    for (int j = 0; j < height; j++) {
        for (int i = 0; i < width; i++) {
            index = j * width + i;
            if(rgba[index*4]>127||rgba[index*4]<-128){
                Log.e("color","-->"+rgba[index*4]);
            }
            R = rgba[index*4]&0xFF;
            G = rgba[index*4+1]&0xFF;
            B = rgba[index*4+2]&0xFF;

            Y = ((66 * R + 129 * G + 25 * B + 128) >> 8) + 16;
            U = ((-38 * R - 74 * G + 112 * B + 128) >> 8) + 128;
            V = ((112 * R - 94 * G - 18 * B + 128) >> 8) + 128;

            yuv[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
            if (j % 2 == 0 && index % 2 == 0) {
                yuv[uIndex++] = (byte) ((U < 0) ? 0 : ((U > 255) ? 255 : U));
                yuv[vIndex++] = (byte) ((V < 0) ? 0 : ((V > 255) ? 255 : V));
            }
        }
    }
}

對於其他格式的音訊視訊編解碼也大同小異了，只要MediaCodec支援就好。

MediaMuxer（音視訊混合API）

MediaMuxer的使用很簡單，在Android Developer官網上MediaMuxer的API說明中，也有其簡單的使用示例程式碼：

MediaMuxer muxer = new MediaMuxer("temp.mp4", OutputFormat.MUXER_OUTPUT_MPEG_4);
// More often, the MediaFormat will be retrieved from MediaCodec.getOutputFormat()
// or MediaExtractor.getTrackFormat().
MediaFormat audioFormat = new MediaFormat(...);
MediaFormat videoFormat = new MediaFormat(...);
int audioTrackIndex = muxer.addTrack(audioFormat);
int videoTrackIndex = muxer.addTrack(videoFormat);
ByteBuffer inputBuffer = ByteBuffer.allocate(bufferSize);
boolean finished = false;
BufferInfo bufferInfo = new BufferInfo();

muxer.start();
while(!finished) {
  // getInputBuffer() will fill the inputBuffer with one frame of encoded
  // sample from either MediaCodec or MediaExtractor, set isAudioSample to
  // true when the sample is audio data, set up all the fields of bufferInfo,
  // and return true if there are no more samples.
  finished = getInputBuffer(inputBuffer, isAudioSample, bufferInfo);
  if (!finished) {
    int currentTrackIndex = isAudioSample ? audioTrackIndex : videoTrackIndex;
    muxer.writeSampleData(currentTrackIndex, inputBuffer, bufferInfo);
  }
};
muxer.stop();
muxer.release();

參照官方的說明和程式碼示例，我們可以知道，音視訊混合（也可以音訊和音訊混合），只需要將編碼器的MediaFormat加入到MediaMuxer中，得到一個音軌視訊軌的索引，然後每次從編碼器中取出來的ByteBuffer，寫入（writeSampleData）到編碼器所在的軌道中就ok了。 
這裡需要注意的是，一定要等編碼器設定編碼格式完成後，再將它加入到混合器中，編碼器編碼格式設定完成的標誌是dequeueOutputBuffer得到返回值為MediaCodec.INFO_OUTPUT_FORMAT_CHANGED。

音視訊錄製MP4檔案

上面已經給出了音訊錄製的程式碼和視訊錄製的程式碼，利用MediaMuxer將其結合起來，就可以和簡單的完成錄製有聲音有影象的MP4檔案的功能了。音訊錄製和視訊錄製的基本流程保持不變，在錄製編碼後，不再將編碼的結果寫入到檔案流中，而是寫入為混合器的sample data。以視訊為例，更改迴圈編碼的程式碼為：

//流程一直，無需更改
int index=mVideoEnc.dequeueInputBuffer(-1);
if(index>=0){
    if(hasNewData){
        if(yuv==null){
            yuv=new byte[width*height*3/2];
        }
        rgbaToYuv(data,width,height,yuv);
    }
    ByteBuffer buffer=getInputBuffer(mVideoEnc,index);
    buffer.clear();
    buffer.put(yuv);
    //結束時，傳送結束標誌，在編碼完成後結束
    mVideoEnc.queueInputBuffer(index,0,yuv.length,
        mStartFlag?0:MediaCodec.BUFFER_FLAG_END_OF_STREAM);
}
MediaCodec.BufferInfo mInfo=new MediaCodec.BufferInfo();
int outIndex=mVideoEnc.dequeueOutputBuffer(mInfo,0);
do {
    if(outIndex>=0){
        ByteBuffer outBuf=getOutputBuffer(mVideoEnc,outIndex);
        //裡面不在是寫入到檔案，而是寫入為混合器的sample data
        if(mTrackCount==3&&mInfo.size>0){
            mMuxer.writeSampleData(mVideoTrack,outBuf,mInfo);
        }
        mVideoEnc.releaseOutputBuffer(outIndex,false);
        outIndex=mVideoEnc.dequeueOutputBuffer(mInfo,0);
        Log.e("wuwang","outIndex-->"+outIndex);
        //編碼結束的標誌
        if((mInfo.flags&MediaCodec.BUFFER_FLAG_END_OF_STREAM)!=0){
            return true;
        }
    }else if(outIndex==MediaCodec.INFO_OUTPUT_FORMAT_CHANGED){
       //按照MediaMuxer中所說，加入軌道的時機在這裡
        mVideoTrack=mMuxer.addTrack(mVideoEnc.getOutputFormat());
        Log.e("wuwang","video track-->"+mVideoTrack);
        mTrackCount++;
        //一定要音軌視訊軌都加入後，再開始混合
        if(mTrackCount==2){
            mMuxer.start();
            mTrackCount=3;
        }
    }
}while (outIndex>=0);

當然是用MediaMuxer前，肯定是需要建立一個MediaMuxer的例項的：

mMuxer=new MediaMuxer(path+"."+postfix, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
  • 1

音訊的操作和視訊一樣更改，將音訊編碼也加入MeidaMuxer的軌道中，得到一個軌道索引，將編碼後的資料加入為MediaMuxer當前音軌的sample data。音軌和上面的視軌各自做各自的，結束錄製時，都發送結束標誌，然後在編碼結束後，停止混合器就可以得到一個固定位元速率的MP4檔案了。

總結

至此，本篇部落格就結束了。但是在實際使用MediaCodec和MediaMuxer的過程中，總會遇到這樣或者那樣的問題，硬編硬解，和硬體相關比較緊密，Android雖然提供了一個很好的API，但是各個廠商在實現的過程中，總是會做些讓自己變得獨特的事情。當然他們的目的並不是為了獨特，有的是為了讓產品變得更優秀（雖然最後可能會做砸了），有的是為了省錢，用軟體去彌補硬體的缺陷，最後的結果就是苦了做上層開發的碼農們。 
從博主在使用MediaCodec和MediaMuxer的過程中遇到的問題，總結下需要注意主要有以下幾點：

  1. MediaCodec是Android4.1新增API，MediaMuxer是Android4.3新增API。
  2. 顏色空間。按照Android本身的意思，COLOR_FormatYUV420Planar應該是所有硬體平臺都支援的。但是實際上並不是這樣。所以在設定顏色空間時，應該獲取硬體平臺所支援的顏色空間，確保它是支援你打算使用的顏色空間，不支援的話應該啟用備用方案（使用其他當前硬體支援的顏色空間）。
  3. 視訊尺寸，在一些手機上，視訊錄製的尺寸可以是任意的。但是有些手機，不支援的尺寸設定會導致錄製的視訊現錯亂。博主在使用Oppo R7測試，360*640的視訊，單獨錄製視訊沒問題，音視訊混合後，出現了顏色錯亂的情況，而在360F4手機上，卻都是沒問題的。將視訊寬高都設定為16的倍數，可以解決這個問題。
  4. 編碼器格式設定，諸如音訊編碼的取樣率、位元率等，取值也需要結合硬體平臺來設定，否則也會導致崩潰或其他問題。這個其實和顏色空間的選擇一樣。
  5. 網上看到許多queueInputBuffer中設定presentationTimeUs為System.nanoTime()/1000，這樣做會導致編碼出來的音視訊，在播放時，總時長顯示的是錯誤的。應該記錄開始時候的nanoTime，然後設定presentationTimeUs為(System.nanoTime()-nanoTime)/1000。
  6. 錄製結束時，應該傳送結束標誌MediaCodec.BUFFER_FLAG_END_OF_STREAM，在編碼後區獲得這個標誌時再終止迴圈，而不是直接終止迴圈。

應該還有其他需要注意的問題。我暫時還沒遇到。

原始碼

原始碼在github中codec module下，有需要的小夥伴fork或者download。後續Android音視訊開發相關的Demo也會上傳到這個專案下。


此文轉載於：http://lib.csdn.net/article/liveplay/57099。

相關推薦

Android實現視訊剪下、視訊拼接以及音視訊合併

              因公司專案有需求，要實現視訊剪下，視訊拼接以及音視訊合併的功能，自己通過在網上查詢大量的資料終於把功能實現了，把實現的公共類提取出來，以便以後複習鞏固。使用map4parser作為視訊處理包，android studio引入compile 'co

Android硬體編碼－音視訊編碼以及音視訊混合

概述 通常來說，對於同一平臺同一硬體環境，硬編硬解的速度是快於軟體編解碼的。而且相比軟體編解碼的高CPU佔用率來說，硬體編解碼也有很大的優勢，所以在硬體支援的情況下，一般硬體編解碼是我們的首選。  在Android中，我們可以直接使用MediaRecord來進行錄影，但

使用MediaCodec實現H264編碼「第四章，Android音視訊編碼那點破事」

  本章僅對部分程式碼進行講解，以幫助讀者更好的理解章節內容。 本系列文章涉及的專案HardwareVideoCodec已經開源到Github，支援軟編和硬編。使用它你可以很容易的實現任何解析度的視訊編碼，無需關心攝像頭預覽大小。一切都如此簡單。目前已迭代多個穩定版本，歡迎

Android使用系統API進行音視訊編碼

一、前言 上一篇文章我講到，我用libx264對視訊進行h264編碼效率非常低下，原因在於libx264採用的是軟編碼。於是我在網上搜索得知使用系統的API可以對視訊進行硬編碼，從而減少cpu的壓力，達到提高效率的作用。我寫了一個demo試了一下，果真效率提高

Android硬編碼——音訊編碼、視訊編碼及音視訊混合

視訊編解碼對許多Android程式設計師來說都是Android中比較難的一個知識點。在Android 4.1以前，Android並沒有提供硬編硬解的API，所以之前基本上都是採用FFMpeg來做視訊軟體編解碼的，現在FFMpeg在Android的編解碼上依舊廣泛應用。本

Android視音頻編碼器（2）——cameraYUV、AudioRecordPCM分別編碼後muxer成mp4

效率 androi mar 視音頻 pop 采集 con 文章 cpu 參考下面這篇文章： http://blog.csdn.net/a992036795/article/details/54286654 一、前言 上一篇文章我講到，我用libx264對視頻

即時通訊音視訊開發（五）：認識主流視訊編碼技術H.264

前言 即時通訊應用中的實時音視訊技術，幾乎是IM開發中的最後一道高牆。原因在於：實時音視訊技術 = 音視訊處理技術 + 網路傳輸技術 的橫向技術應用集合體，而公共網際網路不是為了實時通訊設計的。 系列文章 《即時通訊音視訊開發（三）：視訊編解碼之編碼基礎》 《即時通訊音視訊

iOS音視訊—FFmepg基礎知識：命令列工具使用&封裝格式&視訊編碼音訊編碼資料瞭解&視訊畫素音訊取樣資料格式

iOS音視訊相關目錄 FFmepg基礎知識 封裝格式 1、封裝格式：mp4、mov、flv、wmv等等… 2、作用：視訊流+音訊流按照格式進行儲存在一個檔案中 3、MPEG2-TS格式：傳輸流，又稱TS、TP、MPEG-TS或M2T，用於音效、影象與資料的通訊協議。屬於

微信 Android 視訊編碼爬過的那些坑

【編者按】Android 視訊相關的開發，大概一直是整個 Android 生態、以及 Android API 中，最為分裂以及相容性問題最為突出的一部分，本文從視訊編碼器的選擇和如何對攝像頭輸出的 YUV 幀進行快速預處理兩方面，從實踐角度解析筆者曾趟過

H.264/ＡCC音視訊編碼流的RTP/RTSP傳輸實現（1）

目標： 　　實現一個用於H.264/ＡCC音視訊編碼流的RTP/RTSP傳輸的簡單伺服器，主要通過此過程學習基於RTP的NAL、ADTS碼流封裝技術和基於RTSP的視訊互動控制技術。完整系統應該包括伺服器和客戶端兩個部分，其中伺服器負責接收客戶端請求、封包以及

Android Camera2 Opengles2.0 影象實時濾鏡 顯示 視訊編碼

在博文”Android Camera2 Opengles2.0 預覽影象實時濾鏡 視訊編碼” http://blog.csdn.net/keen_zuxwang/article/details/78366598 的基礎上新增FBO實時濾鏡、回撥顯示—其中

freeswitch 音視訊編碼支援

我建了一個 Freeswitch 核心研究 交流群， 45211986， 歡迎加入, 另外，提供基於SIP的通訊伺服器及客戶端解決方案。 1. freeswtich對高清(HD)語音編碼的支援 freeswitch支援 大部分高清語音編碼，包括Spee

android 音訊編解碼 混音 mp3編碼解碼 pcm編碼解碼

特別提示：這裡所提供的原始碼真實有效，並且只是出售原始碼，不提供專案整合服務。如果覺得效果是自己想要的歡迎使用。（感謝各位慷慨資助，謝謝） 音訊編解碼，錄製鈴音，增加混音效果，目前只支援編解碼MP3格式檔案。將音訊檔案放到SDCard/RecordMixMp3/music下

FFMEPG 平臺移植，介面簡化和外部模組接入 （四）ffmpeg android移植(ffmpeg 視訊編碼)

FFMPEG 視訊編碼最常見的H264，H265需要X264，X265外部模組支援，可以從我們開源平臺的FFMPEG編譯專案裡面獲取程式碼和配置進行一鍵式編譯：https://github.com/Car-eye-team/Car-eye-FFMPEG，我們下面的程式碼主要是為了簡化程式碼呼叫結構。只需要配置

Android視訊編碼--H264編碼

Android視訊編碼–H264編碼 Android中的H264編碼有兩種編碼方式： 硬編碼 軟編碼 1.硬編碼 Android中的H264硬編碼主要是通過自身提供的API，呼叫底層的硬體模組實現編碼，不使用CPU。 採用硬編碼的核心示例程式

Android視訊編碼和直播推流教程-楊萬里-專題視訊課程

Android視訊編碼和直播推流教程—854人已學習 課程介紹        Android音視訊編碼和推流功能視訊培訓教程，該課程內容包括：OpenGL ES教程、Android視訊濾鏡、圖片生成視訊、新增水印、音訊和視訊合成、剪下音樂合成視訊、利用攝像頭實現RTMP直播推

音視訊編碼格式和封裝格式的關係和區別是什麼？

每一種格式都與當時的時代背景相關。 以下介紹都是按照時間順序進行： 1:mpeg應該是比較老的格式。這種格式是當時用於vcd。裡面的視訊壓縮用的是mpegv，音訊編碼是mpega。編碼效能低下，目前已經基本淘汰，僅在ktv行業還在大規模使用。 2:mp4是之後比較流行的格式，這個其實與蘋果公司主推的mov格式

《音視訊直播------視訊編碼》

視訊編碼介紹為什麼進行壓縮編碼?視訊是由一幀幀的影象組成(見例項)比如一張Gif圖片其實就可以被分解成若干張單獨的圖片分別出的圖片未經壓縮的視訊的資料量巨大比如:錄音一分鐘視訊, 需要多大的空間來儲存了

Android數據加密之Base64編碼算法

進制數 方案 二進制 strong ack 字符串 ora 如果 方法 Android數據加密之Base64編碼算法前言： 前面學習總結了平時開發中遇見的各種數據加密方式，最終都會對加密後的二進制數據進行Base64編碼，起到一種二次加密的效果，其實呢Base64

iOS平臺上音頻編碼成aac

AudioConverter pcm aac 硬編碼 小程之前介紹解碼aac時，曾經使用了fadd，並且有提到，如果想編碼成aac格式，可以使用facc、fdk-aac等，但使用fdk-aac等編碼方式，都是軟編碼，在cpu的消耗上會明顯大於硬件編碼。 硬編碼的優勢是可以用硬件芯片集成的功能，