新手自己搭建、開發網路直播平臺歷程——瞭解實現一個簡單直播平臺的結構
目前直播已成為一個相當熱門的服務,自己對視音訊的採集、傳輸、播放等等比較感興趣,因此想記錄下實現一個直播平臺的過程,不僅是對已用過的知識進行記錄,以防後期使用,也可以為其他的初學者提供一個借鑑的歷程,接下來,根據自己的理解分析一下一個直播平臺的基本結構。
目前實現一個直播平臺從推流到拉流主要由5部分構成:
1、視音訊的採集:通過呼叫攝像頭、麥克風直接採集視音訊資料,一般視訊採集的資料用RGB或者YUV格式、音訊採集資料採用PCM格式,由於採集的原始資料體積非常大,需要經過壓縮技術處理來提高傳輸效率。並且對於採集的視訊可以做一些前處理,比如美顏、水印等等。
2、資料編碼:為了便於手機視訊的推流、拉流以及儲存,通常採用視音訊編碼壓縮技術來減少體積,編碼方式:CBR、VBR,
視訊-編碼格式:H.265、H.264、MPEG-4等,封裝容器有TS、MKV、AVI、MP4等。現在比較常用的視訊編碼是H.264。
音訊-編碼格式:G.711μ、AAC、Opus等,封裝有MP3、OGG、AAC等,比較常用的是AAC編碼格式。
視訊經過編碼壓縮大大提高了視訊的儲存和傳輸效率,當然,經過壓縮後的視訊在播放時必須進行解碼。
3、資料傳輸:將編碼完成後的音視訊資料進行傳輸,早期的音視訊通過同軸電纜之類的線纜進行傳輸,IP網路發展後,使用IP網路優傳輸
涉及技術或協議:
傳輸協議:RTP與RTCP、RTSP、RTMP、HTTP、HLS(HTTP Live
Streaming)等
控制信令:SIP和SDP、SNMP等
4、解碼資料
5、播放顯示
三、常見的視訊直播相關協議:
1、RTMP(Real Time MessagingProtocol,實時訊息傳送協議)
RTMP是Adobe Systems公司為Flash播放器和伺服器之間音訊、視訊和資料傳輸開發的開放協議。它有三種變種:
1)、工作在TCP之上的明文協議,使用埠1935;
2)、RTMPT封裝在HTTP請求之中,可穿越防火牆;
3)、RTMPS類似RTMPT,但使用的是HTTPS連線;
RTMP協議是被Flash用於物件、視訊、音訊的傳輸。這個協議建立在TCP協議或者輪詢HTTP協議之上。RTMP協議就像一個用來裝資料包的容器,這些資料既可以是AMF格式的資料,也可以是FLV中的視音訊資料。一個單一的連線可以通過不同的通道傳輸多路網路流,這些通道中的包都是按照固定大小的包傳輸的。
2、RTSP(Real Time StreamingProtocol,實時流傳輸協議)
RTSP定義了一對多應用程式如何有效地通過IP網路傳送多媒體資料。RTSP提供了一個可擴充套件框架,資料來源可以包括實時資料與已有的儲存的資料。該協議目的在於控制多個數據傳送連線,為選擇傳送通道如UDP、組播UDP與TCP提供途徑,併為選擇基於RTP上傳送機制提供方法。
RTSP語法和運作跟HTTP/1.1類似,但並不特別強調時間同步,所以比較能容忍網路延遲。代理伺服器的快取功能也同樣適用於RTSP,並且因為RTSP具有重新導向功能,可根據實際負載情況來切換提供服務的伺服器,以避免過大的負載集中於同一伺服器而造成延遲。
3、RTP(Real-time TransportProtocol,實時傳輸協議)
RTP是針對多媒體資料流的一種傳輸層協議,詳細說明了在網際網路上傳遞音訊和視訊的標準資料包格式。RTP協議常用於流媒體系統(配合RTCP協議),視訊會議和一鍵通系統(配合H.323或SIP),使它成為IP電話產業的技術基礎。
RTP是建立在UDP協議上的,常與RTCP一起使用,其本身並沒有提供按時傳送機制或其它服務質量(QoS)保證,它依賴於低層服務去實現這一過程。
RTP並不保證傳送或防止無序傳送,也不確定底層網路的可靠性,只管傳送,不管傳輸是否丟包,也不管接收方是否有收到包。RTP 實行有序傳送,RTP中的序列號允許接收方重組傳送方的包序列,同時序列號也能用於決定適當的包位置,如在視訊解碼中,就不需要順序解碼。
4、RTCP(Real-time TransportControl Protocol,實時傳輸控制協議)
RTCP是RTP的配套協議,為RTP媒體流提供通道外的控制。RTCP和RTP一起協作將多媒體資料打包和傳送,定期在多媒體流會話參與者之間傳輸控制資料。
RTCP的主要功能是為RTP所提供的服務質量(QoS)提供反饋,收集相關媒體連線的統計資訊,例如傳輸位元組數,傳輸分組數,丟失分組數,單向和雙向網路延遲等等。網路應用程式可以利用RTCP所提供的資訊來提高服務質量,比如限制流量或改用壓縮比小的編解碼器。