TS檔案解析
阿新 • • 發佈:2018-12-12
2.ts格式
ts檔案分為三層:ts層(Transport Stream)、pes層(Packet Elemental Stream)、es層(Elementary Stream)。es層就是音視訊資料,pes層是在音視訊資料上加了時間戳等對資料幀的說明資訊,ts層是在pes層上加入了資料流識別和傳輸的必要資訊。
3.ts層
ts包大小固定為188位元組,ts層分為三個部分:ts header、adaptation field、payload。ts header固定4個位元組;adaptation field可能存在也可能不存在,主要作用是給不足188位元組的資料做填充;payload是pes資料。
3.1.ts header
ts層的內容是通過PID值來標識的,主要內容包括:PAT表、PMT表、音訊流、視訊流。解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然後就可以找到音視訊流了。PAT表的PID值固定為0。PAT表和PMT表需要定期插入ts流,因為使用者隨時可能加入ts流,這個間隔比較小,通常每隔幾個視訊幀就要加入PAT和PMT。PAT和PMT表是必須的,還可以加入其它表如SDT(業務描述表)等,不過hls流只要有PAT和PMT就可以播放了。
自適應區的長度要包含傳輸錯誤指示符標識的一個位元組。pcr是節目時鐘參考,pcr、dts、pts都是對同一個系統時鐘的取樣值,pcr是遞增的,因此可以將其設定為dts值,音訊資料不需要pcr。如果沒有欄位,ipad是可以播放的,但vlc無法播放。打包ts流時PAT和PMT表是沒有adaptation field的,不夠的長度直接補0xff即可。視訊流和音訊流都需要加adaptation field,通常加在一個幀的第一個ts包和最後一個ts包裡,中間的ts包不加。
3.3.PAT格式
3.4.PMT格式
4.pes層
pes層是在每一個視訊/音訊幀上加入了時間戳等資訊,pes包內容很多,我們只留下最常用的。
pts是顯示時間戳、dts是解碼時間戳,視訊資料兩種時間戳都需要,音訊資料的pts和dts相同,所以只需要pts。有pts和dts兩種時間戳是B幀引起的,I幀和P幀的pts等於dts。如果一個視訊沒有B幀,則pts永遠和dts相同。從檔案中順序讀取視訊幀,取出的幀順序和dts順序相同。dts演算法比較簡單,初始值 + 增量即可,pts計算比較複雜,需要在dts的基礎上加偏移量。
音訊的pes中只有pts(同dts),視訊的I、P幀兩種時間戳都要有,視訊B幀只要pts(同dts)。打包pts和dts就需要知道視訊幀型別,但是通過容器格式我們是無法判斷幀型別的,必須解析h.264內容才可以獲取幀型別。
舉例說明:
I P B B B P
讀取順序: 1 2 3 4 5 6
dts順序: 1 2 3 4 5 6
pts順序: 1 5 3 2 4 6
點播視訊dts演算法:
dts = 初始值 + 90000 / video_frame_rate,初始值可以隨便指定,但是最好不要取0,video_frame_rate就是幀率,比如23、30。
pts和dts是以timescale為單位的,1s = 90000 time scale , 一幀就應該是90000/video_frame_rate 個timescale。
用一幀的timescale除以取樣頻率就可以轉換為一幀的播放時長
點播音訊dts演算法:
dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate,audio_samples_per_frame這個值與編解碼相關,aac取值1024,mp3取值1158,audio_sample_rate是取樣率,比如24000、41000。AAC一幀解碼出來是每聲道1024個sample,也就是說一幀的時長為1024/sample_rate秒。所以每一幀時間戳依次0,1024/sample_rate,...,1024*n/sample_rate秒。
直播視訊的dts和pts應該直接用直播資料流中的時間,不應該按公式計算。
5.es層
es層指的就是音視訊資料,我們只介紹h.264視訊和aac音訊。
h.264視訊:
打包h.264資料我們必須給視訊資料加上一個nalu(Network Abstraction Layer unit),nalu包括nalu header和nalu type,nalu header固定為0x00000001(幀開始)或0x000001(幀中)。h.264的資料是由slice組成的,slice的內容包括:視訊、sps、pps等。nalu type決定了後面的h.264資料內容。
紅色字型顯示的內容是最常用的,打包es層資料時pes頭和es資料之間要加入一個type=9的nalu,關鍵幀slice前必須要加入type=7和type=8的nalu,而且是緊鄰。
aac音訊:
打包aac音訊必須加上一個adts(Audio Data Transport Stream)頭,共7Byte,adts包括fixed_header和variable_header兩部分,各28bit。
fixed_header
variable_header
mp3音訊:
mp3音訊不需要加adts頭。
6.h264幀型別判斷
當nalu type=5或1時,表示後面跟著的資料是視訊資料,下面我們只列出前2項。
sync_byte | 8b | 同步位元組,固定為0x47 |
transport_error_indicator | 1b | 傳輸錯誤指示符,表明在ts頭的adapt域後由一個無用位元組,通常都為0,這個位元組算在adapt域長度內 |
payload_unit_start_indicator | 1b | 負載單元起始標示符,一個完整的資料包開始時標記為1 |
transport_priority | 1b | 傳輸優先順序,0為低優先順序,1為高優先順序,通常取0 |
pid | 13b | pid值 |
transport_scrambling_control | 2b | 傳輸加擾控制,00表示未加密 |
adaptation_field_control | 2b | 是否包含自適應區,‘00’保留;‘01’為無自適應域,僅含有效負載;‘10’為僅含自適應域,無有效負載;‘11’為同時帶有自適應域和有效負載。 |
continuity_counter | 4b | 遞增計數器,從0-f,起始值不一定取0,但必須是連續的 |
- PAT表:他主要的作用就是指明瞭PMT表的PID值。
- PMT表:他主要的作用就是指明瞭音視訊流的PID值。
- 音訊流/視訊流:承載音視訊內容。
adaptation_field_length | 1B | 自適應域長度,後面的位元組數 |
flag | 1B | 取0x50表示包含PCR或0x40表示不包含PCR |
PCR | 5B | Program Clock Reference,節目時鐘參考,用於恢復出與編碼端一致的系統時序時鐘STC(System Time Clock)。 |
stuffing_bytes | xB | 填充位元組,取值0xff |
table_id | 8b | PAT表固定為0x00 |
section_syntax_indicator | 1b | 固定為1 |
zero | 1b | 固定為0 |
reserved | 2b | 固定為11 |
section_length | 12b | 後面資料的長度 |
transport_stream_id | 16b | 傳輸流ID,固定為0x0001 |
reserved | 2b | 固定為11 |
version_number | 5b | 版本號,固定為00000,如果PAT有變化則版本號加1 |
current_next_indicator | 1b | 固定為1,表示這個PAT表可以用,如果為0則要等待下一個PAT表 |
section_number | 8b | 固定為0x00 |
last_section_number | 8b | 固定為0x00 |
開始迴圈 | ||
program_number | 16b | 節目號為0x0000時表示這是NIT,節目號為0x0001時,表示這是PMT |
reserved | 3b | 固定為111 |
PID | 13b | 節目號對應內容的PID值 |
結束迴圈 | ||
CRC32 | 32b | 前面資料的CRC32校驗碼 |
table_id | 8b | PMT表取值隨意,0x02 |
section_syntax_indicator | 1b | 固定為1 |
zero | 1b | 固定為0 |
reserved | 2b | 固定為11 |
section_length | 12b | 後面資料的長度 |
program_number | 16b | 頻道號碼,表示當前的PMT關聯到的頻道,取值0x0001 |
reserved | 2b | 固定為11 |
version_number | 5b | 版本號,固定為00000,如果PAT有變化則版本號加1 |
current_next_indicator | 1b | 固定為1 |
section_number | 8b | 固定為0x00 |
last_section_number | 8b | 固定為0x00 |
reserved | 3b | 固定為111 |
PCR_PID | 13b | PCR(節目參考時鐘)所在TS分組的PID,指定為視訊PID |
reserved | 4b | 固定為1111 |
program_info_length | 12b | 節目描述資訊,指定為0x000表示沒有 |
開始迴圈 | ||
stream_type | 8b | 流型別,標誌是Video還是Audio還是其他資料,h.264編碼對應0x1b,aac編碼對應0x0f,mp3編碼對應0x03 |
reserved | 3b | 固定為111 |
elementary_PID | 13b | 與stream_type對應的PID |
reserved | 4b | 固定為1111 |
ES_info_length | 12b | 描述資訊,指定為0x000表示沒有 |
結束迴圈 | ||
CRC32 | 32b | 前面資料的CRC32校驗碼 |
pes start code | 3B | 開始碼,固定為0x000001 |
stream id | 1B | 音訊取值(0xc0-0xdf),通常為0xc0 視訊取值(0xe0-0xef),通常為0xe0 |
pes packet length | 2B | 後面pes資料的長度,0表示長度不限制, 只有視訊資料長度會超過0xffff |
flag | 1B | 通常取值0x80,表示資料不加密、無優先順序、備份的資料 |
flag | 1B | 取值0x80表示只含有pts,取值0xc0表示含有pts和dts |
pes data length | 1B | 後面資料的長度,取值5或10 |
pts | 5B | 33bit值 |
dts | 5B | 33bit值 |
F | 1b | forbidden_zero_bit,h.264規定必須取0 |
NRI | 2b | nal_ref_idc,取值0~3,指示這個nalu的重要性,I幀、sps、pps通常取3,P幀通常取2,B幀通常取0 |
Type | 5b | 參考下表 |
nal_unit_type | 說明 |
0 | 未使用 |
1 | 非IDR影象片,IDR指關鍵幀 |
2 | 片分割槽A |
3 | 片分割槽B |
4 | 片分割槽C |
5 | IDR影象片,即關鍵幀 |
6 | 補充增強資訊單元(SEI) |
7 | SPS序列引數集 |
8 | PPS影象引數集 |
9 | 分解符 |
10 | 序列結束 |
11 | 碼流結束 |
12 | 填充 |
13~23 | 保留 |
24~31 | 未使用 |
syncword | 12b | 固定為0xfff |
id | 1b | 0表示MPEG-4,1表示MPEG-2 |
layer | 2b | 固定為00 |
protection_absent | 1b | 固定為1 |
profile | 2b | 取值0~3,1表示aac |
sampling_frequency_index | 4b | 表示取樣率,0: 96000 Hz,1: 88200 Hz,2: 64000 Hz,3:48000 Hz,4: 44100 Hz,5: 32000 Hz,6: 24000 Hz,7: 22050 Hz,8: 16000 Hz,9: 12000 Hz,10: 11025 Hz,11: 8000 Hz,12: 7350 Hz |
private_bit | 1b | 固定為0 |
channel_configuration | 3b | 取值0~7,1: 1 channel: front-center,2: 2 channels: front-left, front-right,3: 3 channels: front-center, front-left, front-right,4: 4 channels: front-center, front-left, front-right, back-center |
original_copy | 1b | 固定為0 |
home | 1b | 固定為0 |
copyright_identification_bit | 1b | 固定為0 |
copyright_identification_start | 1b | 固定為0 |
aac_frame_length | 13b | 包括adts頭在內的音訊資料總長度 |
adts_buffer_fullness | 11b | 固定為0x7ff |
number_of_raw_data_blocks_in_frame | 2b | 固定為00 |