JavaCV的攝像頭實戰之七:推流(帶聲音)
阿新 • • 發佈:2022-04-19
歡迎訪問我的GitHub
這裡分類和彙總了欣宸的全部原創(含配套原始碼):https://github.com/zq2599/blog_demos
本篇概覽
- 本文是《JavaCV的攝像頭實戰》的第七篇,在《JavaCV的攝像頭實戰之五:推流》一文中,咱們將攝像頭的內容推送到媒體伺服器,再用VLC成功播放,相信聰明的您一定覺察到了一縷瑕疵:沒有聲音
- 雖然《JavaCV的攝像頭實戰》系列的主題是攝像頭處理,但顯然音視訊健全才是最常見的情況,因此就在本篇補全前文的不足吧:編碼實現攝像頭和麥克風的推流,並驗證可以成功遠端播放音視訊
關於音訊的採集和錄製
- 本篇的程式碼是在《JavaCV的攝像頭實戰之五:推流》
- 編碼前,咱們先來分析一下,增加音訊處理後具體的程式碼邏輯會有哪些變化
- 只儲存視訊的操作,與儲存音訊相比,步驟的區別如下圖所示,深色塊就是新增的操作:
- 相對的,在應用結束時,釋放所有資源的時候,音視訊的操作也比只有視訊時要多一些,如下圖所示,深色就是釋放音訊相關資源的操作:
- 為了讓程式碼簡潔一些,我將音訊相關的處理都放在名為AudioService的類中,也就是說上面兩幅圖的深色部分的程式碼都在AudioService.java中,主程式使用此類來完成音訊處理
- 接下來開始編碼
開發音訊處理類AudioService
- 首先是剛才提到的AudioService.java,主要內容就是前面圖中深色塊的功能,有幾處要注意的地方稍後會提到:
package com.bolingcavalry.grabpush.extend; import lombok.extern.slf4j.Slf4j; import org.bytedeco.ffmpeg.global.avcodec; import org.bytedeco.javacv.FFmpegFrameRecorder; import org.bytedeco.javacv.FrameRecorder; import javax.sound.sampled.AudioFormat; import javax.sound.sampled.AudioSystem; import javax.sound.sampled.DataLine; import javax.sound.sampled.TargetDataLine; import java.nio.ByteBuffer; import java.nio.ByteOrder; import java.nio.ShortBuffer; import java.util.concurrent.ScheduledThreadPoolExecutor; import java.util.concurrent.TimeUnit; /** * @author willzhao * @version 1.0 * @description 音訊相關的服務 * @date 2021/12/3 8:09 */ @Slf4j public class AudioService { // 取樣率 private final static int SAMPLE_RATE = 44100; // 音訊通道數,2表示立體聲 private final static int CHANNEL_NUM = 2; // 幀錄製器 private FFmpegFrameRecorder recorder; // 定時器 private ScheduledThreadPoolExecutor sampleTask; // 目標資料線,音訊資料從這裡獲取 private TargetDataLine line; // 該陣列用於儲存從資料線中取得的音訊資料 byte[] audioBytes; // 定時任務的執行緒中會讀此變數,而改變此變數的值是在主執行緒中,因此要用volatile保持可見性 private volatile boolean isFinish = false; /** * 幀錄製器的音訊引數設定 * @param recorder * @throws Exception */ public void setRecorderParams(FrameRecorder recorder) throws Exception { this.recorder = (FFmpegFrameRecorder)recorder; // 位元速率恆定 recorder.setAudioOption("crf", "0"); // 最高音質 recorder.setAudioQuality(0); // 192 Kbps recorder.setAudioBitrate(192000); // 取樣率 recorder.setSampleRate(SAMPLE_RATE); // 立體聲 recorder.setAudioChannels(2); // 編碼器 recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC); } /** * 音訊取樣物件的初始化 * @throws Exception */ public void initSampleService() throws Exception { // 音訊格式的引數 AudioFormat audioFormat = new AudioFormat(SAMPLE_RATE, 16, CHANNEL_NUM, true, false); // 獲取資料線所需的引數 DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat); // 從音訊捕獲裝置取得其資料的資料線,之後的音訊資料就從該資料線中獲取 line = (TargetDataLine)AudioSystem.getLine(dataLineInfo); line.open(audioFormat); // 資料線與音訊資料的IO建立聯絡 line.start(); // 每次取得的原始資料大小 final int audioBufferSize = SAMPLE_RATE * CHANNEL_NUM; // 初始化陣列,用於暫存原始音訊取樣資料 audioBytes = new byte[audioBufferSize]; // 建立一個定時任務,任務的內容是定時做音訊取樣,再把取樣資料交給幀錄製器處理 sampleTask = new ScheduledThreadPoolExecutor(1); } /** * 程式結束前,釋放音訊相關的資源 */ public void releaseOutputResource() { // 結束的標誌,避免取樣的程式碼在whlie迴圈中不退出 isFinish = true; // 結束定時任務 sampleTask.shutdown(); // 停止資料線 line.stop(); // 關閉資料線 line.close(); } /** * 啟動定時任務,每秒執行一次,採集音訊資料給幀錄製器 * @param frameRate */ public void startSample(double frameRate) { // 啟動定時任務,每秒執行一次,採集音訊資料給幀錄製器 sampleTask.scheduleAtFixedRate((Runnable) new Runnable() { @Override public void run() { try { int nBytesRead = 0; while (nBytesRead == 0 && !isFinish) { // 音訊資料是從資料線中取得的 nBytesRead = line.read(audioBytes, 0, line.available()); } // 如果nBytesRead<1,表示isFinish標誌被設定true,此時該結束了 if (nBytesRead<1) { return; } // 取樣資料是16位元,也就是2位元組,對應的資料型別就是short, // 所以準備一個short陣列來接受原始的byte陣列資料 // short是2位元組,所以陣列長度就是byte陣列長度的二分之一 int nSamplesRead = nBytesRead / 2; short[] samples = new short[nSamplesRead]; // 兩個byte放入一個short中的時候,誰在前誰在後?這裡用LITTLE_ENDIAN指定拜訪順序, ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples); // 將short陣列轉為ShortBuffer物件,因為幀錄製器的入參需要該型別 ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead); // 音訊幀交給幀錄製器輸出 recorder.recordSamples(SAMPLE_RATE, CHANNEL_NUM, sBuff); } catch (FrameRecorder.Exception e) { e.printStackTrace(); } } }, 0, 1000 / (long)frameRate, TimeUnit.MILLISECONDS); } }
- 上述程式碼中,有兩處要注意:
- 重點關注recorder.recordSamples,該方法將音訊存入了mp4檔案
- 定時任務是在一個新執行緒中執行的,因此當主執行緒結束錄製後,需要中斷定時任務中的while迴圈,因此新增了volatile型別的變數isFinish,幫助定時任務中的程式碼判斷是否立即結束while迴圈
改造原本推流時只推視訊的程式碼
- 接著是對《JavaCV的攝像頭實戰之五:推流》一文中RecordCamera.java的改造,為了不影響之前章節在github上的程式碼,這裡我新增了一個類RecordCameraWithAudio.java,內容與RecordCamera.java一模一樣,接下來咱們來改造這個RecordCameraWithAudio類
- 先增加AudioService型別的成員變數:
// 音訊服務類
private AudioService audioService = new AudioService();
- 接下來是關鍵,initOutput方法負責幀錄製器的初始化,現在要加上音訊相關的初始化操作,並且還要啟動定時任務去採集和處理音訊,如下所示,AudioService的三個方法都在此呼叫了,注意定時任務的啟動要放在幀錄製器初始化之後:
@Override
protected void initOutput() throws Exception {
// 例項化FFmpegFrameRecorder,將SRS的推送地址傳入
recorder = FrameRecorder.createDefault(RECORD_ADDRESS, getCameraImageWidth(), getCameraImageHeight());
// 降低啟動時的延時,參考
// https://trac.ffmpeg.org/wiki/StreamingGuide)
recorder.setVideoOption("tune", "zerolatency");
// 在視訊質量和編碼速度之間選擇適合自己的方案,包括這些選項:
// ultrafast,superfast, veryfast, faster, fast, medium, slow, slower, veryslow
// ultrafast offers us the least amount of compression (lower encoder
// CPU) at the cost of a larger stream size
// at the other end, veryslow provides the best compression (high
// encoder CPU) while lowering the stream size
// (see: https://trac.ffmpeg.org/wiki/Encode/H.264)
// ultrafast對CPU消耗最低
recorder.setVideoOption("preset", "ultrafast");
// Constant Rate Factor (see: https://trac.ffmpeg.org/wiki/Encode/H.264)
recorder.setVideoOption("crf", "28");
// 2000 kb/s, reasonable "sane" area for 720
recorder.setVideoBitrate(2000000);
// 設定編碼格式
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
// 設定封裝格式
recorder.setFormat("flv");
// FPS (frames per second)
// 一秒內的幀數
recorder.setFrameRate(getFrameRate());
// Key frame interval, in our case every 2 seconds -> 30 (fps) * 2 = 60
// 關鍵幀間隔
recorder.setGopSize((int)getFrameRate()*2);
// 設定幀錄製器的音訊相關引數
audioService.setRecorderParams(recorder);
// 音訊取樣相關的初始化操作
audioService.initSampleService();
// 幀錄製器開始初始化
recorder.start();
// 啟動定時任務,採集音訊幀給幀錄製器
audioService.startSample(getFrameRate());
}
- output方法儲存原樣,只處理視訊幀(音訊處理在定時任務中)
@Override
protected void output(Frame frame) throws Exception {
if (0L==startRecordTime) {
startRecordTime = System.currentTimeMillis();
}
// 時間戳
recorder.setTimestamp(1000 * (System.currentTimeMillis()-startRecordTime));
// 存檔
recorder.record(frame);
}
- 釋放資源的方法中,增加了音訊資源釋放的操作:
@Override
protected void releaseOutputResource() throws Exception {
// 執行音訊服務的資源釋放操作
audioService.releaseOutputResource();
// 關閉幀錄製器
recorder.close();
}
- 至此,將攝像頭視訊和麥克風音訊推送到媒體伺服器的功能已開發完成,再寫上main方法,表示推流十分鐘:
public static void main(String[] args) {
new RecordCameraWithAudio().action(600);
}
-
執行main方法,等到控制檯輸出下圖紅框的內容時,表示正在推送中:
-
在另一臺電腦上用VLC軟體開啟剛才推流的地址rtmp://192.168.50.43:21935/hls/camera,稍等幾秒鐘後開始正常播放,影象聲音都正常(注意不能用當前電腦播放,否則麥克風採集的是VLC播放的聲音了):
-
用VLC自帶的工具檢視媒體流資訊,如下圖,可見視訊流和音訊流都能正常識別:
-
開啟媒體伺服器自身的監控頁面,如下圖,可以看到各項實時資料:
-
至此,咱們已完成了音視訊推流的功能,(有點像直播的樣子了),得益於JavaCV的強大,整個過程是如此的輕鬆愉快,接下來請繼續關注欣宸原創,《JavaCV的攝像頭實戰》系列還會呈現更多豐富的應用;
原始碼下載
- 《JavaCV的攝像頭實戰》的完整原始碼可在GitHub下載到,地址和連結資訊如下表所示(https://github.com/zq2599/blog_demos):
名稱 | 連結 | 備註 |
---|---|---|
專案主頁 | https://github.com/zq2599/blog_demos | 該專案在GitHub上的主頁 |
git倉庫地址(https) | https://github.com/zq2599/blog_demos.git | 該專案原始碼的倉庫地址,https協議 |
git倉庫地址(ssh) | [email protected]:zq2599/blog_demos.git | 該專案原始碼的倉庫地址,ssh協議 |
- 這個git專案中有多個資料夾,本篇的原始碼在javacv-tutorials資料夾下,如下圖紅框所示:
-
javacv-tutorials裡面有多個子工程,《JavaCV的攝像頭實戰》系列的程式碼在simple-grab-push工程下: