視音訊資料處理入門:PCM音訊取樣資料處理
=====================================================
視音訊資料處理入門系列文章:
=====================================================
上一篇文章記錄了RGB/YUV視訊畫素資料的處理方法,本文繼續上一篇文章的內容,記錄PCM音訊取樣資料的處理方法。音訊取樣資料在視訊播放器的解碼流程中的位置如下圖所示。
本文分別介紹如下幾個PCM音訊取樣資料處理函式: 分離PCM16LE雙聲道音訊取樣資料的左聲道和右聲道 將PCM16LE雙聲道音訊取樣資料中左聲道的音量降一半 將PCM16LE雙聲道音訊取樣資料的聲音速度提高一倍 將PCM16LE雙聲道音訊取樣資料轉換為PCM8音訊取樣資料 從PCM16LE單聲道音訊取樣資料中擷取一部分資料 將PCM16LE雙聲道音訊取樣資料轉換為WAVE格式音訊資料注:PCM音訊資料可以使用音訊編輯軟體匯入檢視。例如收費的專業音訊編輯軟體
函式列表
(1)分離PCM16LE雙聲道音訊取樣資料的左聲道和右聲道
本程式中的函式可以將PCM16LE雙聲道資料中左聲道和右聲道的資料分離成兩個檔案。函式的程式碼如下所示。/** * Split Left and Right channel of 16LE PCM file. * @param url Location of PCM file. * */int simplest_pcm16le_split(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_l.pcm" ,"wb+"); FILE *fp2=fopen("output_r.pcm","wb+"); unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){ fread(sample,1,4,fp); //L fwrite(sample,1,2,fp1); //R fwrite(sample+2,1,2,fp2); } free(sample); fclose(fp); fclose(fp1); fclose(fp2); return 0;}
呼叫上面函式的方法如下所示。simplest_pcm16le_split("NocturneNo2inEflat_44.1k_s16le.pcm" );
從程式碼可以看出,PCM16LE雙聲道資料中左聲道和右聲道的取樣值是間隔儲存的。每個取樣值佔用2Byte空間。程式碼執行後,會把NocturneNo2inEflat_44.1k_s16le.pcm的PCM16LE格式的資料分離為兩個單聲道資料:
output_l.pcm:左聲道資料。注:本文中聲音樣值的取樣頻率一律是44100Hz,取樣格式一律為16LE。“16”代表取樣位數是16bit。由於1Byte=8bit,所以一個聲道的一個取樣值佔用2Byte。“LE”代表Little Endian,代表2 Byte取樣值的儲存方式為高位存在高地址中。output_r.pcm:右聲道資料。
下圖為輸入的雙聲道PCM資料的波形圖。上面的波形圖是左聲道的圖形,下面的波形圖是右聲道的波形。圖中的橫座標是時間,總長度為22秒;縱座標是取樣值,取值範圍從-32768到32767。
下圖為分離後左聲道資料output_l.pcm的音訊波形圖。
下圖為分離後右聲道資料output_r.pcm的音訊波形圖。
(2)將PCM16LE雙聲道音訊取樣資料中左聲道的音量降一半
本程式中的函式可以將PCM16LE雙聲道資料中左聲道的音量降低一半。函式的程式碼如下所示。/** * Halve volume of Left channel of 16LE PCM file * @param url Location of PCM file. */int simplest_pcm16le_halfvolumeleft(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_halfleft.pcm","wb+"); int cnt=0; unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){ short *samplenum=NULL; fread(sample,1,4,fp); samplenum=(short *)sample; *samplenum=*samplenum/2; //L fwrite(sample,1,2,fp1); //R fwrite(sample+2,1,2,fp1); cnt++; } printf("Sample Cnt:%d\n",cnt); free(sample); fclose(fp); fclose(fp1); return 0;}
呼叫上面函式的方法如下所示。simplest_pcm16le_halfvolumeleft("NocturneNo2inEflat_44.1k_s16le.pcm");
從原始碼可以看出,本程式在讀出左聲道的2 Byte的取樣值之後,將其當成了C語言中的一個short型別的變數。將該數值除以2之後寫回到了PCM檔案中。下圖為輸入PCM雙聲道音訊取樣資料的波形圖。
下圖為輸出的左聲道經過處理後的波形圖。可以看出左聲道的波形幅度降低了一半。
(3)將PCM16LE雙聲道音訊取樣資料的聲音速度提高一倍
本程式中的函式可以通過抽象的方式將PCM16LE雙聲道資料的速度提高一倍。函式的程式碼如下所示。/** * Re-sample to double the speed of 16LE PCM file * @param url Location of PCM file. */int simplest_pcm16le_doublespeed(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_doublespeed.pcm","wb+"); int cnt=0; unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){ fread(sample,1,4,fp); if(cnt%2!=0){ //L fwrite(sample,1,2,fp1); //R fwrite(sample+2,1,2,fp1); } cnt++; } printf("Sample Cnt:%d\n",cnt); free(sample); fclose(fp); fclose(fp1); return 0;}
呼叫上面函式的方法如下所示。simplest_pcm16le_doublespeed("NocturneNo2inEflat_44.1k_s16le.pcm");
從原始碼可以看出,本程式只採樣了每個聲道奇數點的樣值。處理完成後,原本22秒左右的音訊變成了11秒左右。音訊的播放速度提高了2倍,音訊的音調也變高了很多。下圖為輸入PCM雙聲道音訊取樣資料的波形圖。
下圖為輸出的PCM雙聲道音訊取樣資料的波形圖。通過時間軸可以看出音訊變短了很多。
(4)將PCM16LE雙聲道音訊取樣資料轉換為PCM8音訊取樣資料
本程式中的函式可以通過計算的方式將PCM16LE雙聲道資料16bit的取樣位數轉換為8bit。函式的程式碼如下所示。
/** * Convert PCM-16 data to PCM-8 data. * @param url Location of PCM file. */int simplest_pcm16le_to_pcm8(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_8.pcm","wb+"); int cnt=0; unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){ short *samplenum16=NULL; char samplenum8=0; unsigned char samplenum8_u=0; fread(sample,1,4,fp); //(-32768-32767) samplenum16=(short *)sample; samplenum8=(*samplenum16)>>8; //(0-255) samplenum8_u=samplenum8+128; //L fwrite(&samplenum8_u,1,1,fp1); samplenum16=(short *)(sample+2); samplenum8=(*samplenum16)>>8; samplenum8_u=samplenum8+128; //R fwrite(&samplenum8_u,1,1,fp1); cnt++; } printf("Sample Cnt:%d\n",cnt); free(sample); fclose(fp); fclose(fp1); return 0;}
呼叫上面函式的方法如下所示。simplest_pcm16le_to_pcm8("NocturneNo2inEflat_44.1k_s16le.pcm");
PCM16LE格式的取樣資料的取值範圍是-32768到32767,而PCM8格式的取樣資料的取值範圍是0到255。所以PCM16LE轉換到PCM8需要經過兩個步驟:第一步是將-32768到32767的16bit有符號數值轉換為-128到127的8bit有符號數值,第二步是將-128到127的8bit有符號數值轉換為0到255的8bit無符號數值。在本程式中,16bit取樣資料是通過short型別變數儲存的,而8bit取樣資料是通過unsigned char型別儲存的。下圖為輸入的16bit的PCM雙聲道音訊取樣資料的波形圖。
下圖為輸出的8bit的PCM雙聲道音訊取樣資料的波形圖。注意觀察圖中縱座標的取值範圍已經變為0至255。如果仔細聆聽聲音的話,會發現8bit PCM的音質明顯不如16 bit PCM的音質。(5)將從PCM16LE單聲道音訊取樣資料中擷取一部分資料
本程式中的函式可以從PCM16LE單聲道資料中擷取一段資料,並輸出擷取資料的樣值。函式的程式碼如下所示。/** * Cut a 16LE PCM single channel file. * @param url Location of PCM file. * @param start_num start point * @param dur_num how much point to cut */int simplest_pcm16le_cut_singlechannel(char *url,int start_num,int dur_num){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_cut.pcm","wb+"); FILE *fp_stat=fopen("output_cut.txt","wb+"); unsigned char *sample=(unsigned char *)malloc(2); int cnt=0; while(!feof(fp)){ fread(sample,1,2,fp); if(cnt>start_num&&cnt<=(start_num+dur_num)){ fwrite(sample,1,2,fp1); short samplenum=sample[1]; samplenum=samplenum*256; samplenum=samplenum+sample[0]; fprintf(fp_stat,"%6d,",samplenum); if(cnt%10==0) fprintf(fp_stat,"\n",samplenum); } cnt++; } free(sample); fclose(fp); fclose(fp1); fclose(fp_stat); return 0;}
呼叫上面函式的方法如下所示。simplest_pcm16le_cut_singlechannel("drum.pcm",2360,120);
本程式可以從PCM資料中選取一段取樣值儲存下來,並且輸出這些取樣值的數值。上述程式碼執行後,會把單聲道PCM16LE格式的“drum.pcm”中從2360點開始的120點的資料儲存成output_cut.pcm檔案。下圖為“drum.pcm”的波形圖,該音訊取樣頻率為44100KHz,長度為0.5秒,一共包含約22050個取樣點。
下圖為截取出來的output_cut.pcm檔案中的資料。
下面列出了上述資料的取樣值。 4460, 5192, 5956, 6680, 7199, 6706, 5727, 4481, 3261, 1993, 1264, 747, 767, 752, 1248, 1975, 2473, 2955, 2952, 2447, 974, -1267, -4000, -6965,-10210,-13414,-16639,-19363,-21329,-22541,-23028,-22545,-21055,-19067,-16829,-14859,-12596, -9900, -6684, -3475, -983, 1733, 3978, 5734, 6720, 6978, 6993, 7223, 7225, 7440, 7688, 8431, 8944, 9468, 9947, 10688, 11194, 11946, 12449, 12446, 12456, 11974, 11454, 10952, 10167, 9425, 8153, 6941, 5436, 3716, 1952, 236, -1254, -2463, -3493, -4223, -4695, -4927, -5190, -4941, -4188, -2956, -1490, -40, 705, 932, 446, -776, -2512, -3994, -5723, -7201, -8687,-10157,-11134,-11661,-11642,-11168,-10155, -9142, -7888, -7146, -6186, -5694, -4971, -4715, -4498, -4471, -4468, -4452, -4452, -3940, -2980, -1984, -752, 257, 1021, 1264, 1032, 31,
(6)將PCM16LE雙聲道音訊取樣資料轉換為WAVE格式音訊資料
WAVE格式音訊(副檔名為“.wav”)是Windows系統中最常見的一種音訊。該格式的實質就是在PCM檔案的前面加了一個檔案頭。本程式的函式就可以通過在PCM檔案前面加一個WAVE檔案頭從而封裝為WAVE格式音訊。函式的程式碼如下所示。/** * Convert PCM16LE raw data to WAVE format * @param pcmpath Input PCM file. * @param channels Channel number of PCM file. * @param sample_rate Sample rate of PCM file. * @param wavepath Output WAVE file. */int simplest_pcm16le_to_wave(const char *pcmpath,int channels,int sample_rate,const char *wavepath){ typedef struct WAVE_HEADER{ char fccID[4]; unsigned long dwSize; char fccType[4]; }WAVE_HEADER; typedef struct WAVE_FMT{ char fccID[4]; unsigned long dwSize; unsigned short wFormatTag; unsigned short wChannels; unsigned long dwSamplesPerSec; unsigned long dwAvgBytesPerSec; unsigned short wBlockAlign; unsigned short uiBitsPerSample; }WAVE_FMT; typedef struct WAVE_DATA{ char fccID[4]; unsigned long dwSize; }WAVE_DATA; if(channels==0||sample_rate==0){ channels = 2; sample_rate = 44100; } int bits = 16; WAVE_HEADER pcmHEADER; WAVE_FMT pcmFMT; WAVE_DATA pcmDATA; unsigned short m_pcmData; FILE *fp,*fpout; fp=fopen(pcmpath, "rb"); if(fp == NULL) { printf("open pcm file error\n"); return -1; } fpout=fopen(wavepath, "wb+"); if(fpout == NULL) { printf("create wav file error\n"); return -1; } //WAVE_HEADER memcpy(pcmHEADER.fccID,"RIFF",strlen("RIFF")); memcpy(pcmHEADER.fccType,"WAVE",strlen("WAVE")); fseek(fpout,sizeof(WAVE_HEADER),1); //WAVE_FMT pcmFMT.dwSamplesPerSec=sample_rate; pcmFMT.dwAvgBytesPerSec=pcmFMT.dwSamplesPerSec*sizeof(m_pcmData); pcmFMT.uiBitsPerSample=bits; memcpy(pcmFMT.fccID,"fmt ",strlen("fmt ")); pcmFMT.dwSize=16; pcmFMT.wBlockAlign=2; pcmFMT.wChannels=channels; pcmFMT.wFormatTag=1; fwrite(&pcmFMT,sizeof(WAVE_FMT),1,fpout); //WAVE_DATA; memcpy(pcmDATA.fccID,"data",strlen("data")); pcmDATA.dwSize=0; fseek(fpout,sizeof(WAVE_DATA),SEEK_CUR); fread(&m_pcmData,sizeof(unsigned short),1,fp); while(!feof(fp)){ pcmDATA.dwSize+=2; fwrite(&m_pcmData,sizeof(unsigned short),1,fpout); fread(&m_pcmData,sizeof(unsigned short),1,fp); } pcmHEADER.dwSize=44+pcmDATA.dwSize; rewind(fpout); fwrite(&pcmHEADER,sizeof(WAVE_HEADER),1,fpout); fseek(fpout,sizeof(WAVE_FMT),SEEK_CUR); fwrite(&pcmDATA,sizeof(WAVE_DATA),1,fpout); fclose(fp); fclose(fpout); return 0;}
呼叫上面函式的方法如下所示。simplest_pcm16le_to_wave("NocturneNo2inEflat_44.1k_s16le.pcm",2,44100,"output_nocturne.wav");
WAVE檔案是一種RIFF格式的檔案。其基本塊名稱是“WAVE”,其中包含了兩個子塊“fmt”和“data”。從程式設計的角度簡單說來就是由WAVE_HEADER、WAVE_FMT、WAVE_DATA、取樣資料共4個部分組成。它的結構如下所示。WAVE_HEADER |
WAVE_FMT |
WAVE_DATA |
PCM資料 |
typedef struct WAVE_HEADER{ char fccID[4]; unsigned long dwSize; char fccType[4]; }WAVE_HEADER; typedef struct WAVE_FMT{ char fccID[4]; unsigned long dwSize; unsigned short wFormatTag; unsigned short wChannels; unsigned long dwSamplesPerSec; unsigned long dwAvgBytesPerSec; unsigned short wBlockAlign; unsigned short uiBitsPerSample; }WAVE_FMT; typedef struct WAVE_DATA{ char fccID[4]; unsigned long dwSize; }WAVE_DATA;
本程式的函式執行完成後,就可將NocturneNo2inEflat_44.1k_s16le.pcm檔案封裝成output_nocturne.wav檔案。下載
Simplest mediadata test專案主頁
開源中國:http://git.oschina.net/leixiaohua1020/simplest_mediadata_testCSDN下載地址:http://download.csdn.net/detail/leixiaohua1020/9422409本專案包含如下幾種視音訊資料解析示例: (1)畫素資料處理程式。包含RGB和YUV畫素格式處理的函式。 (2)音訊取樣資料處理程式。包含PCM音訊取樣格式處理的函式。 (3)H.264碼流分析程式。可以分離並解析NALU。 (4)AAC碼流分析程式。可以分離並解析ADTS幀。 (5)FLV封裝格式分析程式。可以將FLV中的MP3音訊碼流分離出來。(6)UDP-RTP協議分析程式。可以將分析UDP/RTP/MPEG-TS資料包。
雷霄驊 (Lei Xiaohua)[email protected]://blog.csdn.net/leixiaohua1020