1. 程式人生 > >視音訊資料處理入門:PCM音訊取樣資料處理

視音訊資料處理入門:PCM音訊取樣資料處理

               

=====================================================

視音訊資料處理入門系列文章:

=====================================================

上一篇文章記錄了RGB/YUV視訊畫素資料的處理方法,本文繼續上一篇文章的內容,記錄PCM音訊取樣資料的處理方法。音訊取樣資料在視訊播放器的解碼流程中的位置如下圖所示。

本文分別介紹如下幾個PCM音訊取樣資料處理函式: 分離PCM16LE雙聲道音訊取樣資料的左聲道和右聲道 將PCM16LE雙聲道音訊取樣資料中左聲道的音量降一半 將PCM16LE雙聲道音訊取樣資料的聲音速度提高一倍 將PCM16LE雙聲道音訊取樣資料轉換為PCM8音訊取樣資料 從PCM16LE單聲道音訊取樣資料中擷取一部分資料 將PCM16LE雙聲道音訊取樣資料轉換為WAVE格式音訊資料

注:PCM音訊資料可以使用音訊編輯軟體匯入檢視。例如收費的專業音訊編輯軟體

Adobe Audition,或者免費開源的音訊編輯軟體Audacity

函式列表

(1)分離PCM16LE雙聲道音訊取樣資料的左聲道和右聲道

本程式中的函式可以將PCM16LE雙聲道資料中左聲道和右聲道的資料分離成兩個檔案。函式的程式碼如下所示。
/** * Split Left and Right channel of 16LE PCM file. * @param url  Location of PCM file. * */int simplest_pcm16le_split(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_l.pcm"
,"wb+"); FILE *fp2=fopen("output_r.pcm","wb+"); unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){  fread(sample,1,4,fp);  //L  fwrite(sample,1,2,fp1);  //R  fwrite(sample+2,1,2,fp2); } free(sample); fclose(fp); fclose(fp1); fclose(fp2); return 0;}
呼叫上面函式的方法如下所示。
simplest_pcm16le_split("NocturneNo2inEflat_44.1k_s16le.pcm"
);

從程式碼可以看出,PCM16LE雙聲道資料中左聲道和右聲道的取樣值是間隔儲存的。每個取樣值佔用2Byte空間。程式碼執行後,會把NocturneNo2inEflat_44.1k_s16le.pcm的PCM16LE格式的資料分離為兩個單聲道資料:

output_l.pcm:左聲道資料。

output_r.pcm:右聲道資料。

注:本文中聲音樣值的取樣頻率一律是44100Hz,取樣格式一律為16LE。“16”代表取樣位數是16bit。由於1Byte=8bit,所以一個聲道的一個取樣值佔用2Byte。“LE”代表Little Endian,代表2 Byte取樣值的儲存方式為高位存在高地址中。

下圖為輸入的雙聲道PCM資料的波形圖。上面的波形圖是左聲道的圖形,下面的波形圖是右聲道的波形。圖中的橫座標是時間,總長度為22秒;縱座標是取樣值,取值範圍從-32768到32767。

下圖為分離後左聲道資料output_l.pcm的音訊波形圖。

 

下圖為分離後右聲道資料output_r.pcm的音訊波形圖。

 

(2)將PCM16LE雙聲道音訊取樣資料中左聲道的音量降一半

本程式中的函式可以將PCM16LE雙聲道資料中左聲道的音量降低一半。函式的程式碼如下所示。
/** * Halve volume of Left channel of 16LE PCM file * @param url  Location of PCM file. */int simplest_pcm16le_halfvolumeleft(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_halfleft.pcm","wb+"); int cnt=0unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){  short *samplenum=NULL;  fread(sample,1,4,fp);  samplenum=(short *)sample;  *samplenum=*samplenum/2;  //L  fwrite(sample,1,2,fp1);  //R  fwrite(sample+2,1,2,fp1);  cnt++; } printf("Sample Cnt:%d\n",cnt); free(sample); fclose(fp); fclose(fp1); return 0;}
呼叫上面函式的方法如下所示。
simplest_pcm16le_halfvolumeleft("NocturneNo2inEflat_44.1k_s16le.pcm");

從原始碼可以看出,本程式在讀出左聲道的2 Byte的取樣值之後,將其當成了C語言中的一個short型別的變數。將該數值除以2之後寫回到了PCM檔案中。下圖為輸入PCM雙聲道音訊取樣資料的波形圖。

下圖為輸出的左聲道經過處理後的波形圖。可以看出左聲道的波形幅度降低了一半。

(3)將PCM16LE雙聲道音訊取樣資料的聲音速度提高一倍

本程式中的函式可以通過抽象的方式將PCM16LE雙聲道資料的速度提高一倍。函式的程式碼如下所示。
/** * Re-sample to double the speed of 16LE PCM file * @param url  Location of PCM file. */int simplest_pcm16le_doublespeed(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_doublespeed.pcm","wb+"); int cnt=0unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){  fread(sample,1,4,fp);  if(cnt%2!=0){   //L   fwrite(sample,1,2,fp1);   //R   fwrite(sample+2,1,2,fp1);  }  cnt++; } printf("Sample Cnt:%d\n",cnt); free(sample); fclose(fp); fclose(fp1); return 0;}
呼叫上面函式的方法如下所示。
simplest_pcm16le_doublespeed("NocturneNo2inEflat_44.1k_s16le.pcm");

從原始碼可以看出,本程式只採樣了每個聲道奇數點的樣值。處理完成後,原本22秒左右的音訊變成了11秒左右。音訊的播放速度提高了2倍,音訊的音調也變高了很多。下圖為輸入PCM雙聲道音訊取樣資料的波形圖。

下圖為輸出的PCM雙聲道音訊取樣資料的波形圖。通過時間軸可以看出音訊變短了很多。

(4)將PCM16LE雙聲道音訊取樣資料轉換為PCM8音訊取樣資料

本程式中的函式可以通過計算的方式將PCM16LE雙聲道資料16bit的取樣位數轉換為8bit。函式的程式碼如下所示。

/** * Convert PCM-16 data to PCM-8 data. * @param url  Location of PCM file. */int simplest_pcm16le_to_pcm8(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_8.pcm","wb+"); int cnt=0unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){  short *samplenum16=NULL;  char samplenum8=0;  unsigned char samplenum8_u=0;  fread(sample,1,4,fp);  //(-32768-32767)  samplenum16=(short *)sample;  samplenum8=(*samplenum16)>>8;  //(0-255)  samplenum8_u=samplenum8+128;  //L  fwrite(&samplenum8_u,1,1,fp1);  samplenum16=(short *)(sample+2);  samplenum8=(*samplenum16)>>8;  samplenum8_u=samplenum8+128;  //R  fwrite(&samplenum8_u,1,1,fp1);  cnt++; } printf("Sample Cnt:%d\n",cnt); free(sample); fclose(fp); fclose(fp1); return 0;}
呼叫上面函式的方法如下所示。
simplest_pcm16le_to_pcm8("NocturneNo2inEflat_44.1k_s16le.pcm");

PCM16LE格式的取樣資料的取值範圍是-32768到32767,而PCM8格式的取樣資料的取值範圍是0到255。所以PCM16LE轉換到PCM8需要經過兩個步驟:第一步是將-32768到32767的16bit有符號數值轉換為-128到127的8bit有符號數值,第二步是將-128到127的8bit有符號數值轉換為0到255的8bit無符號數值。在本程式中,16bit取樣資料是通過short型別變數儲存的,而8bit取樣資料是通過unsigned char型別儲存的。下圖為輸入的16bit的PCM雙聲道音訊取樣資料的波形圖。

下圖為輸出的8bit的PCM雙聲道音訊取樣資料的波形圖。注意觀察圖中縱座標的取值範圍已經變為0至255。如果仔細聆聽聲音的話,會發現8bit PCM的音質明顯不如16 bit PCM的音質。 

(5)將從PCM16LE單聲道音訊取樣資料中擷取一部分資料

本程式中的函式可以從PCM16LE單聲道資料中擷取一段資料,並輸出擷取資料的樣值。函式的程式碼如下所示。
/** * Cut a 16LE PCM single channel file. * @param url        Location of PCM file. * @param start_num  start point * @param dur_num    how much point to cut */int simplest_pcm16le_cut_singlechannel(char *url,int start_num,int dur_num){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_cut.pcm","wb+"); FILE *fp_stat=fopen("output_cut.txt","wb+"); unsigned char *sample=(unsigned char *)malloc(2); int cnt=0while(!feof(fp)){  fread(sample,1,2,fp);  if(cnt>start_num&&cnt<=(start_num+dur_num)){   fwrite(sample,1,2,fp1);   short samplenum=sample[1];   samplenum=samplenum*256;   samplenum=samplenum+sample[0];   fprintf(fp_stat,"%6d,",samplenum);   if(cnt%10==0)    fprintf(fp_stat,"\n",samplenum);  }  cnt++; } free(sample); fclose(fp); fclose(fp1); fclose(fp_stat); return 0;}
呼叫上面函式的方法如下所示。
simplest_pcm16le_cut_singlechannel("drum.pcm",2360,120);

本程式可以從PCM資料中選取一段取樣值儲存下來,並且輸出這些取樣值的數值。上述程式碼執行後,會把單聲道PCM16LE格式的“drum.pcm”中從2360點開始的120點的資料儲存成output_cut.pcm檔案。下圖為“drum.pcm”的波形圖,該音訊取樣頻率為44100KHz,長度為0.5秒,一共包含約22050個取樣點。

下圖為截取出來的output_cut.pcm檔案中的資料。

下面列出了上述資料的取樣值。
  4460,  5192,  5956,  6680,  7199,  6706,  5727,  4481,  3261,  1993,  1264,   747,   767,   752,  1248,  1975,  2473,  2955,  2952,  2447,   974, -1267, -4000, -6965,-10210,-13414,-16639,-19363,-21329,-22541,-23028,-22545,-21055,-19067,-16829,-14859,-12596, -9900, -6684, -3475,  -983,  1733,  3978,  5734,  6720,  6978,  6993,  7223,  7225,  7440,  7688,  8431,  8944,  9468,  9947, 10688, 11194, 11946, 12449, 12446, 12456, 11974, 11454, 10952, 10167,  9425,  8153,  6941,  5436,  3716,  1952,   236, -1254, -2463, -3493, -4223, -4695, -4927, -5190, -4941, -4188, -2956, -1490,   -40,   705,   932,   446,  -776, -2512, -3994, -5723, -7201, -8687,-10157,-11134,-11661,-11642,-11168,-10155, -9142, -7888, -7146, -6186, -5694, -4971, -4715, -4498, -4471, -4468, -4452, -4452, -3940, -2980, -1984,  -752,   257,  1021,  1264,  1032,    31,

(6)將PCM16LE雙聲道音訊取樣資料轉換為WAVE格式音訊資料

WAVE格式音訊(副檔名為“.wav”)是Windows系統中最常見的一種音訊。該格式的實質就是在PCM檔案的前面加了一個檔案頭。本程式的函式就可以通過在PCM檔案前面加一個WAVE檔案頭從而封裝為WAVE格式音訊。函式的程式碼如下所示。
/** * Convert PCM16LE raw data to WAVE format * @param pcmpath      Input PCM file. * @param channels     Channel number of PCM file. * @param sample_rate  Sample rate of PCM file. * @param wavepath     Output WAVE file. */int simplest_pcm16le_to_wave(const char *pcmpath,int channels,int sample_rate,const char *wavepath)typedef struct WAVE_HEADER{    char         fccID[4];          unsigned   long    dwSize;              char         fccType[4];     }WAVE_HEADER;   typedef struct WAVE_FMT{    char         fccID[4];          unsigned   long       dwSize;              unsigned   short     wFormatTag;      unsigned   short     wChannels;    unsigned   long       dwSamplesPerSec;    unsigned   long       dwAvgBytesPerSec;    unsigned   short     wBlockAlign;    unsigned   short     uiBitsPerSample;   }WAVE_FMT;   typedef struct WAVE_DATA{    char       fccID[4];            unsigned long dwSize;               }WAVE_DATA;   if(channels==0||sample_rate==0){    channels = 2;    sample_rate = 44100; } int bits = 16;    WAVE_HEADER   pcmHEADER;      WAVE_FMT   pcmFMT;      WAVE_DATA   pcmDATA;       unsigned   short   m_pcmData;    FILE   *fp,*fpout;   fp=fopen(pcmpath, "rb");    if(fp == NULL) {          printf("open pcm file error\n");        return -1;      } fpout=fopen(wavepath,   "wb+");    if(fpout == NULL) {            printf("create wav file error\n");          return -1;     }         //WAVE_HEADER    memcpy(pcmHEADER.fccID,"RIFF",strlen("RIFF"));                        memcpy(pcmHEADER.fccType,"WAVE",strlen("WAVE"));      fseek(fpout,sizeof(WAVE_HEADER),1);  //WAVE_FMT    pcmFMT.dwSamplesPerSec=sample_rate;      pcmFMT.dwAvgBytesPerSec=pcmFMT.dwSamplesPerSec*sizeof(m_pcmData);      pcmFMT.uiBitsPerSample=bits;    memcpy(pcmFMT.fccID,"fmt ",strlen("fmt "));      pcmFMT.dwSize=16;      pcmFMT.wBlockAlign=2;      pcmFMT.wChannels=channels;      pcmFMT.wFormatTag=1;       fwrite(&pcmFMT,sizeof(WAVE_FMT),1,fpout);     //WAVE_DATA;    memcpy(pcmDATA.fccID,"data",strlen("data"));      pcmDATA.dwSize=0;    fseek(fpout,sizeof(WAVE_DATA),SEEK_CUR);    fread(&m_pcmData,sizeof(unsigned short),1,fp);    while(!feof(fp)){          pcmDATA.dwSize+=2;        fwrite(&m_pcmData,sizeof(unsigned short),1,fpout);        fread(&m_pcmData,sizeof(unsigned short),1,fp);    }      pcmHEADER.dwSize=44+pcmDATA.dwSize;    rewind(fpout);    fwrite(&pcmHEADER,sizeof(WAVE_HEADER),1,fpout);    fseek(fpout,sizeof(WAVE_FMT),SEEK_CUR);    fwrite(&pcmDATA,sizeof(WAVE_DATA),1,fpout);  fclose(fp);    fclose(fpout);    return 0;}
呼叫上面函式的方法如下所示。
simplest_pcm16le_to_wave("NocturneNo2inEflat_44.1k_s16le.pcm",2,44100,"output_nocturne.wav");
WAVE檔案是一種RIFF格式的檔案。其基本塊名稱是“WAVE”,其中包含了兩個子塊“fmt”和“data”。從程式設計的角度簡單說來就是由WAVE_HEADER、WAVE_FMT、WAVE_DATA、取樣資料共4個部分組成。它的結構如下所示。

WAVE_HEADER

WAVE_FMT

WAVE_DATA

PCM資料

其中前3部分的結構如下所示。在寫入WAVE檔案頭的時候給其中的每個欄位賦上合適的值就可以了。但是有一點需要注意:WAVE_HEADER和WAVE_DATA中包含了一個檔案長度資訊的dwSize欄位,該欄位的值必須在寫入完音訊取樣資料之後才能獲得。因此這兩個結構體最後才寫入WAVE檔案中。
 typedef struct WAVE_HEADER{  char fccID[4];  unsigned long dwSize;  char fccType[4]; }WAVE_HEADER; typedef struct WAVE_FMT{  char  fccID[4];  unsigned long dwSize;  unsigned short wFormatTag;  unsigned short wChannels;  unsigned long dwSamplesPerSec;  unsigned long dwAvgBytesPerSec;  unsigned short wBlockAlign;  unsigned short uiBitsPerSample; }WAVE_FMT; typedef struct WAVE_DATA{  char       fccID[4];  unsigned long dwSize; }WAVE_DATA;
本程式的函式執行完成後,就可將NocturneNo2inEflat_44.1k_s16le.pcm檔案封裝成output_nocturne.wav檔案。

下載

Simplest mediadata test

專案主頁

開源中國:http://git.oschina.net/leixiaohua1020/simplest_mediadata_testCSDN下載地址:http://download.csdn.net/detail/leixiaohua1020/9422409本專案包含如下幾種視音訊資料解析示例: (1)畫素資料處理程式。包含RGB和YUV畫素格式處理的函式。 (2)音訊取樣資料處理程式。包含PCM音訊取樣格式處理的函式。 (3)H.264碼流分析程式。可以分離並解析NALU。 (4)AAC碼流分析程式。可以分離並解析ADTS幀。 (5)FLV封裝格式分析程式。可以將FLV中的MP3音訊碼流分離出來。

 (6)UDP-RTP協議分析程式。可以將分析UDP/RTP/MPEG-TS資料包。

雷霄驊 (Lei Xiaohua)[email protected]://blog.csdn.net/leixiaohua1020