2. 程式人生 > >live555 實時音視訊（H264 & PCMA）

live555 實時音視訊（H264 & PCMA）

阿新 • • 發佈：2019-01-03

效果圖如下：




//-------------------------------------------------------------------------------------------------------------------------------------//

SDP日誌如下：

06-06 11:13:22.326: I/RTSPServer_jni(814): [RTSPServer.cpp:432 void RTSPServer::incomingConnectionHandler(int)]: accept()ed connection from 192.168.1.100

06-06 11:13:22.328: I/RTSPServer_jni(814): [RTSPServer.cpp:898 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: RTSPClientConnection[0x55618080]::handleRequestBytes() read 121 new bytes:OPTIONS rtsp://192.168.1.101:8554/1 RTSP/1.0
06-06 11:13:22.328: I/RTSPServer_jni(814): CSeq: 2
06-06 11:13:22.328: I/RTSPServer_jni(814): User-Agent: LibVLC/2.2.4 (LIVE555 Streaming Media v2016.02.22)
06-06 11:13:22.328: I/RTSPServer_jni(814):
06-06 11:13:22.328: I/RTSPServer_jni(814): [RTSPServer.cpp:985 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: parseRTSPRequestString() succeeded, returning cmdName "OPTIONS", urlPreSuffix "", urlSuffix "1", CSeq "2", Content-Length 0, with 0 bytes following the message.
06-06 11:13:22.328: I/RTSPServer_jni(814): [RTSPServer.cpp:1124 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: sending response: RTSP/1.0 200 OK
06-06 11:13:22.328: I/RTSPServer_jni(814): CSeq: 2
06-06 11:13:22.328: I/RTSPServer_jni(814): Date: Tue, Jun 06 2017 03:13:22 GMT
06-06 11:13:22.328: I/RTSPServer_jni(814): Public: OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE, GET_PARAMETER, SET_PARAMETER
06-06 11:13:22.328: I/RTSPServer_jni(814):
06-06 11:13:22.364: I/RTSPServer_jni(814): [RTSPServer.cpp:898 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: RTSPClientConnection[0x55618080]::handleRequestBytes() read 147 new bytes:DESCRIBE rtsp://192.168.1.101:8554/1 RTSP/1.0
06-06 11:13:22.364: I/RTSPServer_jni(814): CSeq: 3
06-06 11:13:22.364: I/RTSPServer_jni(814): User-Agent: LibVLC/2.2.4 (LIVE555 Streaming Media v2016.02.22)
06-06 11:13:22.364: I/RTSPServer_jni(814): Accept: application/sdp
06-06 11:13:22.364: I/RTSPServer_jni(814):
06-06 11:13:22.364: I/RTSPServer_jni(814): [RTSPServer.cpp:985 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: parseRTSPRequestString() succeeded, returning cmdName "DESCRIBE", urlPreSuffix "", urlSuffix "1", CSeq "3", Content-Length 0, with 0 bytes following the message.
06-06 11:13:22.502: I/RTSPServer_jni(814): [RTSPServer.cpp:1124 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: sending response: RTSP/1.0 200 OK
06-06 11:13:22.502: I/RTSPServer_jni(814): CSeq: 3
06-06 11:13:22.502: I/RTSPServer_jni(814): Date: Tue, Jun 06 2017 03:13:22 GMT
06-06 11:13:22.502: I/RTSPServer_jni(814): Content-Base: rtsp://192.168.1.101:8554/1/
06-06 11:13:22.502: I/RTSPServer_jni(814): Content-Type: application/sdp
06-06 11:13:22.502: I/RTSPServer_jni(814): Content-Length: 673
06-06 11:13:22.502: I/RTSPServer_jni(814):
06-06 11:13:22.502: I/RTSPServer_jni(814): v=0
06-06 11:13:22.502: I/RTSPServer_jni(814): o=- 1496717469771075 1 IN IP4 192.168.1.101
06-06 11:13:22.502: I/RTSPServer_jni(814): s=Session streamed by "RTSPServer"
06-06 11:13:22.502: I/RTSPServer_jni(814): i=1
06-06 11:13:22.502: I/RTSPServer_jni(814): t=0 0
06-06 11:13:22.502: I/RTSPServer_jni(814): a=tool:LIVE555 Streaming Media v2014.07.18
06-06 11:13:22.502: I/RTSPServer_jni(814): a=type:broadcast
06-06 11:13:22.502: I/RTSPServer_jni(814): a=control:rtsp://192.168.1.101:8554/1
06-06 11:13:22.502: I/RTSPServer_jni(814): a=range:npt=0-
06-06 11:13:22.502: I/RTSPServer_jni(814): a=x-qt-text-nam:Session streamed by "RTSPServer"
06-06 11:13:22.502: I/RTSPServer_jni(814): a=x-qt-text-inf:1
06-06 11:13:22.502: I/RTSPServer_jni(814): m=video 0 RTP/AVP 96
06-06 11:13:22.502: I/RTSPServer_jni(814): c=IN IP4 0.0.0.0
06-06 11:13:22.502: I/RTSPServer_jni(814): b=AS:500
06-06 11:13:22.502: I/RTSPServer_jni(814): a=rtpmap:96 H264/90000
06-06 11:13:22.502: I/RTSPServer_jni(814): a=fmtp:96 packetization-mode=1;profile-level-id=42C01E;sprop-parameter-sets=Z0LAHrkQFAe0IAAAAwAgAAAFEeLF1A==,aM48gA==
06-06 11:13:22.502: I/RTSPServer_jni(814): a=recvonly;
06-06 11:13:22.502: I/RTSPServer_jni(814): a=control:rtsp://192.168.1.101:8554/1/trackID=1
06-06 11:13:22.502: I/RTSPServer_jni(814): m=audio 0 RTP/AVP 97
06-06 11:13:22.502: I/RTSPServer_jni(814): c=IN IP4 0.0.0.0
06-06 11:13:22.502: I/RTSPServer_jni(814): b=AS:96
06-06 11:13:22.502: I/RTSPServer_jni(814): a=rtpmap:97 PCMA/8000
06-06 11:13:22.502: I/RTSPServer_jni(814): a=recvonly;
06-06 11:13:22.502: I/RTSPServer_jni(814): a=control:rtsp://192.168.1.101:8554/1/trackID=2
06-06 11:13:22.574: I/RTSPServer_jni(814): [RTSPServer.cpp:898 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: RTSPClientConnection[0x55618080]::handleRequestBytes() read 181 new bytes:SETUP rtsp://192.168.1.101:8554/1/trackID=1 RTSP/1.0
06-06 11:13:22.574: I/RTSPServer_jni(814): CSeq: 4
06-06 11:13:22.574: I/RTSPServer_jni(814): User-Agent: LibVLC/2.2.4 (LIVE555 Streaming Media v2016.02.22)
06-06 11:13:22.574: I/RTSPServer_jni(814): Transport: RTP/AVP;unicast;client_port=59928-59929
06-06 11:13:22.574: I/RTSPServer_jni(814):
06-06 11:13:22.574: I/RTSPServer_jni(814): [RTSPServer.cpp:985 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: parseRTSPRequestString() succeeded, returning cmdName "SETUP", urlPreSuffix "1", urlSuffix "trackID=1", CSeq "4", Content-Length 0, with 0 bytes following the message.
06-06 11:13:22.585: I/RTSPServer_jni(814): [RTSPServer.cpp:1124 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: sending response: RTSP/1.0 200 OK
06-06 11:13:22.585: I/RTSPServer_jni(814): CSeq: 4
06-06 11:13:22.585: I/RTSPServer_jni(814): Date: Tue, Jun 06 2017 03:13:22 GMT
06-06 11:13:22.585: I/RTSPServer_jni(814): Transport: RTP/AVP;unicast;destination=192.168.1.100;source=192.168.1.101;client_port=59928-59929;server_port=6970-6971
06-06 11:13:22.585: I/RTSPServer_jni(814): Session: FE96A902;timeout=65
06-06 11:13:22.585: I/RTSPServer_jni(814):
06-06 11:13:22.593: I/RTSPServer_jni(814): [RTSPServer.cpp:898 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: RTSPClientConnection[0x55618080]::handleRequestBytes() read 200 new bytes:SETUP rtsp://192.168.1.101:8554/1/trackID=2 RTSP/1.0
06-06 11:13:22.593: I/RTSPServer_jni(814): CSeq: 5
06-06 11:13:22.593: I/RTSPServer_jni(814): User-Agent: LibVLC/2.2.4 (LIVE555 Streaming Media v2016.02.22)
06-06 11:13:22.593: I/RTSPServer_jni(814): Transport: RTP/AVP;unicast;client_port=59930-59931
06-06 11:13:22.593: I/RTSPServer_jni(814): Session: FE96A902
06-06 11:13:22.593: I/RTSPServer_jni(814):
06-06 11:13:22.593: I/RTSPServer_jni(814): [RTSPServer.cpp:985 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: parseRTSPRequestString() succeeded, returning cmdName "SETUP", urlPreSuffix "1", urlSuffix "trackID=2", CSeq "5", Content-Length 0, with 0 bytes following the message.
06-06 11:13:22.596: I/RTSPServer_jni(814): [RTSPServer.cpp:1124 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: sending response: RTSP/1.0 200 OK
06-06 11:13:22.596: I/RTSPServer_jni(814): CSeq: 5
06-06 11:13:22.596: I/RTSPServer_jni(814): Date: Tue, Jun 06 2017 03:13:22 GMT
06-06 11:13:22.596: I/RTSPServer_jni(814): Transport: RTP/AVP;unicast;destination=192.168.1.100;source=192.168.1.101;client_port=59930-59931;server_port=6972-6973
06-06 11:13:22.596: I/RTSPServer_jni(814): Session: FE96A902;timeout=65
06-06 11:13:22.596: I/RTSPServer_jni(814):
06-06 11:13:22.628: I/RTSPServer_jni(814): [RTSPServer.cpp:898 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: RTSPClientConnection[0x55618080]::handleRequestBytes() read 156 new bytes:PLAY rtsp://192.168.1.101:8554/1 RTSP/1.0
06-06 11:13:22.628: I/RTSPServer_jni(814): CSeq: 6
06-06 11:13:22.628: I/RTSPServer_jni(814): User-Agent: LibVLC/2.2.4 (LIVE555 Streaming Media v2016.02.22)
06-06 11:13:22.628: I/RTSPServer_jni(814): Session: FE96A902
06-06 11:13:22.628: I/RTSPServer_jni(814): Range: npt=0.000-
06-06 11:13:22.628: I/RTSPServer_jni(814):
06-06 11:13:22.628: I/RTSPServer_jni(814): [RTSPServer.cpp:985 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: parseRTSPRequestString() succeeded, returning cmdName "PLAY", urlPreSuffix "", urlSuffix "1", CSeq "6", Content-Length 0, with 0 bytes following the message.
06-06 11:13:22.629: I/RTSPServer_jni(814): [RTSPServer.cpp:1124 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: sending response: RTSP/1.0 200 OK
06-06 11:13:22.629: I/RTSPServer_jni(814): CSeq: 6
06-06 11:13:22.629: I/RTSPServer_jni(814): Date: Tue, Jun 06 2017 03:13:22 GMT
06-06 11:13:22.629: I/RTSPServer_jni(814): Range: npt=0.000-
06-06 11:13:22.629: I/RTSPServer_jni(814): Session: FE96A902
06-06 11:13:22.629: I/RTSPServer_jni(814): RTP-Info: url=rtsp://192.168.1.101:8554/1/trackID=1;seq=37075;rtptime=1897189058,url=rtsp://192.168.1.101:8554/1/trackID=2;seq=25069;rtptime=1038717352
06-06 11:13:22.629: I/RTSPServer_jni(814):
06-06 11:13:22.744: I/RTSPServer_jni(814): [RTSPServer.cpp:898 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: RTSPClientConnection[0x55618080]::handleRequestBytes() read 146 new bytes:GET_PARAMETER rtsp://192.168.1.101:8554/1 RTSP/1.0
06-06 11:13:22.744: I/RTSPServer_jni(814): CSeq: 7
06-06 11:13:22.744: I/RTSPServer_jni(814): User-Agent: LibVLC/2.2.4 (LIVE555 Streaming Media v2016.02.22)
06-06 11:13:22.744: I/RTSPServer_jni(814): Session: FE96A902
06-06 11:13:22.744: I/RTSPServer_jni(814):
06-06 11:13:22.744: I/RTSPServer_jni(814): [RTSPServer.cpp:985 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: parseRTSPRequestString() succeeded, returning cmdName "GET_PARAMETER", urlPreSuffix "", urlSuffix "1", CSeq "7", Content-Length 0, with 0 bytes following the message.
06-06 11:13:22.745: I/RTSPServer_jni(814): [RTSPServer.cpp:1124 void RTSPServer::RTSPClientConnection::handleRequestBytes(int)]: sending response: RTSP/1.0 200 OK
06-06 11:13:22.745: I/RTSPServer_jni(814): CSeq: 7
06-06 11:13:22.745: I/RTSPServer_jni(814): Date: Tue, Jun 06 2017 03:13:22 GMT
06-06 11:13:22.745: I/RTSPServer_jni(814): Session: FE96A902
06-06 11:13:22.745: I/RTSPServer_jni(814): Content-Length: 10
06-06 11:13:22.745: I/RTSPServer_jni(814):
06-06 11:13:22.745: I/RTSPServer_jni(814): 2014.07.18
06-06 11:13:25.488: I/RTSPServer_jni(814): [RTSPServer.cpp:2145 static void RTSPServer::RTSPClientSession::noteClientLiveness(RTSPServer::RTSPClientSession*)]: RTSP client session (id "FE96A902", stream name "1"): Liveness indication
06-06 11:13:25.567: I/RTSPServer_jni(814): [RTSPServer.cpp:2145 static void RTSPServer::RTSPClientSession::noteClientLiveness(RTSPServer::RTSPClientSession*)]: RTSP client session (id "FE96A902", stream name "1"): Liveness indication
06-06 11:13:31.077: I/RTSPServer_jni(814): [RTSPServer.cpp:2145 static void RTSPServer::RTSPClientSession::noteClientLiveness(RTSPServer::RTSPClientSession*)]: RTSP client session (id "FE96A902", stream name "1"): Liveness indication
06-06 11:13:31.077: I/RTSPServer_jni(814): [RTSPServer.cpp:2145 static void RTSPServer::RTSPClientSession::noteClientLiveness(RTSPServer::RTSPClientSession*)]: RTSP client session (id "FE96A902", stream name "1"): Liveness indication

//-------------------------------------------------------------------------------------------------------------------------------------//


技術點：

1、live555實時資料處理（難點）

2、G711編碼實現（同時實現AAC編碼）

3、音視訊時間戳的瞭解（後期做同步需要深入研究）

4、VLC的日誌除錯

//-------------------------------------------------------------------------------------------------------------------------------------//

遇到的難點：

1、live555通過佇列取G711 ALAW編碼資料，資料發生變化導致VLC播放有雜音

 解決方案：

    查起來麻煩，擯棄佇列使用快取拷貝，VLC播放效果明顯變好

2、G711 ALAW編碼資料正常，live555推流結束後，VLC才播放開始幾包聲音資料

原因：VLC播放聲音原因時間戳

解決方案：在AudioFrameLiveSource::doGetNextFrame()中新增gettimeofday(&fPresentationTime,NULL);

3、單獨視訊流單獨音訊流VLC都播放正常。兩路流一起推，VLC黑屏聲音正常

原因：live555單執行緒機制，AudioFrameLiveSource::doGetNextFrame()和VideoFrameLiveSource::doGetNextFrame()兩個不能都有阻塞操作，出現上述現象是因為，AudiodoGetNextFrame獲取實時資料頻率高且有阻塞等待現象，導致視訊VideodoGetNextFrame也無法處理資料。

解決方案：目前機制AudiodoGetNextFrame獲取實時資料失敗不做等待且memcpy(fTo,audiodata,0)，VideodoGetNextFrame仍阻塞獲取實時資料。效果不錯！

相關推薦

live555 實時音視訊（H264 & PCMA）

效果圖如下： //-------------------------------------------------------------------------------------------------------------------------

QOS FEC NACK 實時音視訊傳輸庫測試報告（聲網、騰訊實時音視訊測試）

目錄 實驗環境 測試項說明 測試結果 競品分析 總結                     QOS FEC NACK 實時音視訊傳輸庫測試報告 QOS-FEC-NACK傳輸庫簡介 QOS-FEC-NACK是一套集FEC前向糾錯、

實時音視訊技術（WebRTC/voip/Linphone/P2P）

  視訊社交與語音社交？？？    實時視訊（直播）/語音通訊。多媒體技術團隊在音視訊編解碼、前後處理、傳輸等技術；   在語音社交、視訊社交、遊戲語音和互動直播等領域，關於在語音視訊實時傳輸中實現低延遲這個議題，已經有不少的文章提出各種方案。絕大部分方案的思路都是“優化”，

18個實時音視訊開發中會用到開源專案(轉）

本文轉載自部落格：https://blog.csdn.net/dittychen/article/details/79345828 ----------------------------------------------------------------------------------

Android-音視訊（5）：用 Camera API 採集視訊資料並用SurfaceView顯示

0.許可權設定 之前的文章都忘記說明了許可權的設定，一起需要的許可權如下： <uses-permission android:name="android.permission.RECORD_AUDIO" /> <uses-permission andro

Android-音視訊（6）：用 MediaExtractor 和 MediaMuxer API 解析和封裝 mp4 檔案

1.MediaExtractor API的作用 作用： 可以把音視訊檔案的音訊和視訊分離，並抽取相應的資料通道，然後進行操作。 如何使用： 先要知道是針對哪個檔案操作，所以要用 setDataSource（String filePath） 設定目標檔案。 然後需要知道

Android-音視訊（7）：使用Camera錄製視訊，並存檔案

1.MediaCodec的作用 因為這裡會用到，所以先介紹這個的用法。 MediaCodec類用於使用一些基本的多媒體編解碼操作。 主要的API如下： getInputBuffers：獲取需要編碼資料的輸入流佇列，返回的是一個ByteBuffer陣列  queueI

live555對於實時音視訊的支援

live555本身，可以支援將檔案作為源，提供RTSP播放伺服器功能。 為了使live555能夠支援實時流的播放，需要進行改造。 有兩種方式：1，一個比較簡單，可以使用管道檔案的方式。缺點是當碼流較大時，   會明顯的卡頓、馬賽克。（測試超過80K時會卡得非常厲害）2，再一

android錄屏直播：VLC通過rtsp協議播放android錄屏實時視訊（Java實現）

首先說下為什麼要做這樣一個東西          在上家公司的時候，作為客戶端開發，一個月要給領導演示異常app的開發成果，當時用的策略是用錄屏類軟體，錄製成mp4，然後通過投影播放mp4檔案，來給領導看。這樣做帶來的問題是，要提前準備mp4需要時間，領導想要看除了mp4外的

Linux音視訊（V4L2執行原理）

Linux核心用一個被稱為V4L2的機制來管理攝像頭影象資訊，它的核心工作原理就像日本料理店常見的流轉餐桌，大廚將美食不斷放到空盤子裡，客人不斷拿來吃。 拓展： 在核心中，攝像頭所捕獲的視訊資料，我們可以通過一個佇列來儲存，我們所做的工作大致是這樣的：首先配置好

視訊編碼（H264概述）

編碼中預設值為0，當網路識別此單元中存在位元錯誤時，可將其設為1，以便接收方丟掉該單元，主要用於適應不同種類的網路環境（比如有線無線相結合的環境）。例如對於從無線到有線的閘道器，一邊是無線的非IP環境，一邊是有線網路的無位元錯誤的環境。假設一個NAL單元到達無線那邊時，校驗和檢測失敗，閘道器可以選擇從NAL流

如何進行製作消音視訊（視訊配音）

   最近在進行一次活動時用到了動畫版電影配音，於是截取了需要配音的片段視訊，後來想要好一點的效果，所以需要將背景中的配音人聲去掉，但留下背景音樂和其他聲效。網上也會有現成的材料，可是或許並不是你需要

實時同步服務（inotify+sersync）

inotify sersync 同步服務 【inotify】 一．Inotify概念 1.概念一種強大的，細粒度的，異步文件系統事件監控機制，內核從2.6.23開始支持使用，具體監控事項（增刪改）2.安裝軟件yum -y install inotify-tools (前提是部署好epel源)3

從零到一，使用實時音視訊 SDK 一起開發一款 Zoom 吧

zoom(zoom.us) 是一款受到廣泛使用的線上會議軟體。相信各位一定在辦公、會議、聊天等各種場景下體驗或者使用過，作為一款成熟的商業軟體，zoom 提供了穩定的實時音視訊通話質量，以及白板、聊天、螢幕共享、PPT放映等常用功能。但是在當今瀏覽器成為端上主流的時代，實時音視訊又怎甘於落後呢？相比

開源實時音視訊技術WebRTC中RTP/RTCP資料傳輸協議的應用

1、前言 RTP/RTCP協議是流媒體通訊的基石。RTP協議定義流媒體資料在網際網路上傳輸的資料包格式，而RTCP協議則負責可靠傳輸、流量控制和擁塞控制等服務質量保證。在WebRTC專案中，RTP/RTCP模組作為傳輸模組的一部分，負責對傳送端採集到的媒體資料進行進行封包，然後交給上層網路模組

視訊（一階段）

各位使用者：我們的產品角弧轉換是為了解決角度計算人員的痛苦，他們需要在角度與弧度之間轉換資料。 但是現在的方案並沒有很好地解決這些需求，我們有獨特的辦法進行計算，它能給使用者帶來方便和效率，遠遠超過競爭對手。 同時，我們有高效的人際和網路推廣方法，能很快的讓大部分使用者知道我們的產品，並進一步傳播。 視

AR+ 實時音視訊通話，虛擬與現實無縫結合

今年中旬 Google 在萬眾期待下推出了 ARCore，能將現實與數碼完美無縫地融合在一起，豐富我們的現實世界。通過它開發者可以更加快速方便地在 Android 平臺開發 AR 應用，憑藉 AR 技術大量產品能找到新穎的應用場景，甚至開闢出新的一條產品線。 目前市場上已經有不少基於 AR 技術的產品，例如

AR+ 實時音視訊通話，×××無縫結合

今年中旬 Google 在萬眾期待下推出了 ARCore，能將現實與數碼完美無縫地融合在一起，豐富我們的現實世界。通過它開發者可以更加快速方便地在 Android 平臺開發 AR 應用，憑藉 AR 技術大量產品能找到新穎的應用場景，甚至開闢出新的一條產品線。 目前市場上已經有不少基於 AR 技術的產品，例如

打造專遞課堂，即構成為希沃專遞課堂實時音視訊技術唯一提供方

日前，在南昌舉辦的第75屆中國教育裝備展上，希沃和即構zego打造的互動錄播方案亮相。現場將展廳設定為授課教室，廣州、贛州、南昌三個分會場為聽課教室，以每分鐘一場的高頻次互動演示，模擬了身處不同地區的4個教室的互動教學，現場效果令人震撼。 據瞭解，該方案也稱“專遞課堂”，目前已在江西、雲南

中老年人計算機基礎與應用培訓通知18個實時音視訊開發中會用到開源專案

　　實時音視訊的開發學習有很多可以參考的開源專案。一個實時音視訊應用共包括幾個環節：採集、編碼、前後處理、傳輸、解碼、緩衝、渲染等很多環節。每一個細分環節，還有更細分的技術模組。比如，前後處理環節有美顏、濾鏡、回聲消除、噪聲抑制等，採集有麥克風陣列等，編解碼有VP8、VP9、H.264、H.