關於MEPG-2中的TS流數據格式學習

Author:lihaiping1603

原創：http://www.cnblogs.com/lihaiping/p/8572997.html

本文主要記錄了,結合網上兩篇博客

1) https://www.maizhiying.me/posts/2017/07/12/demux-ts.html

2) https://my.oschina.net/u/727148/blog/666824

,mepg-2(13818)文檔以及使用ffmpeg將mp4文件轉碼為ts文件的格式數據

ffmpeg.exe -i 01.mp4 -c:v libx264 -c:a aac -f hls out.m3u8

一起進行分析和學習ts流格式的過程。

其實這兩篇博客文檔已經寫的很好了,但有幾個點我在結合分析的過程的時候，還是很疑惑的，所以，我先引用他人博客的內容，然後再補充自己的在分析過程中一部分內容，方便自己以後閱讀和翻看。

ts文件為傳輸流文件，視頻編碼主要格式h264/mpeg4，音頻為acc/MP3。

ts文件分為三層：ts層Transport Stream、pes層 Packet Elemental Stream、es層 Elementary Stream. es層就是音視頻數據，pes層是在音視頻數據上加了時間戳等對數據幀的說明信息，ts層就是在pes層加入數據流的識別和傳輸必須的信息

註： 詳解如下

（1）ts層 ts包大小固定為188字節，ts層分為三個部分：ts header、adaptation field、payload。ts header固定4個字節；adaptation field可能存在也可能不存在，主要作用是給不足188字節的數據做填充；payload是pes數據。

ts header

ts層的內容是通過PID值來標識的，主要內容包括：PAT表、PMT表、音頻流、視頻流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然後就可以找到音視頻流了。PAT表的PID值固定為0。PAT表和PMT表需要定期插入ts流，因為用戶隨時可能加入ts流，這個間隔比較小，通常每隔幾個視頻幀就要加入PAT和PMT。PAT和PMT表是必須的，還可以加入其它表如SDT（業務描述表）等，不過hls流只要有PAT和PMT就可以播放了。

PAT表：他主要的作用就是指明了PMT表的PID值。

PMT表：他主要的作用就是指明了音視頻流的PID值。

音頻流/視頻流：承載音視頻內容。

其中ts-header中的PID的取值：

1. 0x0000，PAT（Program Association Table）。
2. 0x0001，CAT（Conditional Access Table）。
3. 0x0002，TSDT（Transport Stream Description Table）。
4. 0x0003-0x000f，保留。
5. 0x0010-0x1ffe，PMT，或者是視頻、音頻碼流的PID。
6. 0x1fff，空包。

adaption

自適應區的長度要包含傳輸錯誤指示符標識的一個字節。pcr是節目時鐘參考，pcr、dts、pts都是對同一個系統時鐘的采樣值，pcr是遞增的，因此可以將其設置為dts值，音頻數據不需要pcr。如果沒有字段，ipad是可以播放的，但vlc無法播放。打包ts流時PAT和PMT表是沒有adaptation field的，不夠的長度直接補0xff即可。視頻流和音頻流都需要加adaptation field，通常加在一個幀的第一個ts包和最後一個ts包裏，中間的ts包不加。

PAT格式

PMT格式

（2）pes層

pes層是在每一個視頻/音頻幀上加入了時間戳等信息，pes包內容很多，我們只留下最常用的。

pts是顯示時間戳、dts是解碼時間戳，視頻數據兩種時間戳都需要，音頻數據的pts和dts相同，所以只需要pts。有pts和dts兩種時間戳是B幀引起的，I幀和P幀的pts等於dts。如果一個視頻沒有B幀，則pts永遠和dts相同。從文件中順序讀取視頻幀，取出的幀順序和dts順序相同。dts算法比較簡單，初始值 + 增量即可，pts計算比較復雜，需要在dts的基礎上加偏移量。

音頻的pes中只有pts（同dts），視頻的I、P幀兩種時間戳都要有，視頻B幀只要pts（同dts）。打包pts和dts就需要知道視頻幀類型，但是通過容器格式我們是無法判斷幀類型的，必須解析h.264內容才可以獲取幀類型。

舉例說明：

I P B B B P

讀取順序： 1 2 3 4 5 6

dts順序： 1 2 3 4 5 6

pts順序： 1 5 3 2 4 6

點播視頻dts算法：

dts = 初始值 + 90000 / video_frame_rate，初始值可以隨便指定，但是最好不要取0，video_frame_rate就是幀率，比如23、30。

pts和dts是以timescale為單位的，1s = 90000 time scale , 一幀就應該是90000/video_frame_rate 個timescale。

用一幀的timescale除以采樣頻率就可以轉換為一幀的播放時長

點播音頻dts算法：

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame這個值與編解碼相關，aac取值1024，mp3取值1158，audio_sample_rate是采樣率，比如24000、41000。AAC一幀解碼出來是每聲道1024個sample，也就是說一幀的時長為1024/sample_rate秒。所以每一幀時間戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。

直播視頻的dts和pts應該直接用直播數據流中的時間，不應該按公式計算。

（3）es層

es層指的就是音視頻數據，我們只介紹h.264視頻和aac音頻。

h.264視頻：

打包h.264數據我們必須給視頻數據加上一個nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定為0x00000001（幀開始）或0x000001（幀中）。h.264的數據是由slice組成的，slice的內容包括：視頻、sps、pps等。nalu type決定了後面的h.264數據內容。

紅色字體顯示的內容是最常用的，打包es層數據時pes頭和es數據之間要加入一個type=9的nalu，關鍵幀slice前必須要加入type=7和type=8的nalu，而且是緊鄰。

其中這裏需要註意：(我的原創內容)

除了上面介紹的PAT,PMT,ADapation filed,PES這些以外,還少介紹了一個Pointer_filed的字段;這個字段的含義是什麽？它怎麽用的呢？用在哪個地方？

我們先來看這個字段的介紹：

它的出現與否是由ts-header中的pay_load_unit_start_indicator來標識的:

意思是如果這個傳輸流帶的是PAT/PMT等這些PSI中的表，而且同時這個傳輸流是PAT/PMT的開始字節(即分組的第一部分市，如果PAT,PMT太長了，超過了188個字節，可能需要分組傳輸的時候)，那麽需要把pay_load_unit_start_indicator設置為1，同時在TSHead和PAT/PMT之間需要插入一個pointer_filed。

所以上面有個圖應該修改為

然後我們再來結合ts流文件的數據來分析一下：

(原)關於MEPG-2中的TS流數據格式學習