supported cat art sca adt 原子類 net version south

ts文件

ts文件為傳輸流文件，視頻編碼主要格式h264/mpeg4，音頻為acc/MP3。

ts文件分為三層：ts層Transport Stream、pes層 Packet Elemental Stream、es層 Elementary Stream. es層就是音視頻數據，pes層是在音視頻數據上加了時間戳等對數據幀的說明信息，ts層就是在pes層加入數據流的識別和傳輸必須的信息

（1）ts層 ts包大小固定為188字節，ts層分為三個部分：ts header、adaptation field、payload。ts header固定4個字節；adaptation field可能存在也可能不存在，主要作用是給不足188字節的數據做填充；payload是pes數據。

ts header

sync_byte	8b	同步字節，固定為0x47
transport_error_indicator	1b	傳輸錯誤指示符，表明在ts頭的adapt域後由一個無用字節，通常都為0，這個字節算在adapt域長度內
payload_unit_start_indicator	1b	負載單元起始標示符，一個完整的數據包開始時標記為1
transport_priority	1b	傳輸優先級，0為低優先級，1為高優先級，通常取0
pid	13b	pid值
transport_scrambling_control	2b	傳輸加擾控制，00表示未加密
adaptation_field_control	2b	是否包含自適應區，‘00’保留；‘01’為無自適應域，僅含有效負載；‘10’為僅含自適應域，無有效負載；‘11’為同時帶有自適應域和有效負載。
continuity_counter	4b	遞增計數器，從0-f，起始值不一定取0，但必須是連續的

ts層的內容是通過PID值來標識的，主要內容包括：PAT表、PMT表、音頻流、視頻流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然後就可以找到音視頻流了。PAT表的PID值固定為0。PAT表和PMT表需要定期插入ts流，因為用戶隨時可能加入ts流，這個間隔比較小，通常每隔幾個視頻幀就要加入PAT和PMT。PAT和PMT表是必須的，還可以加入其它表如SDT（業務描述表）等，不過hls流只要有PAT和PMT就可以播放了。

• PAT表：他主要的作用就是指明了PMT表的PID值。

• PMT表：他主要的作用就是指明了音視頻流的PID值。

• 音頻流/視頻流：承載音視頻內容。

adaption

adaptation_field_length	1B	自適應域長度，後面的字節數
flag	1B	取0x50表示包含PCR或0x40表示不包含PCR
PCR	5B	Program Clock Reference，節目時鐘參考，用於恢復出與編碼端一致的系統時序時鐘STC（System Time Clock）。
stuffing_bytes	xB	填充字節，取值0xff

自適應區的長度要包含傳輸錯誤指示符標識的一個字節。pcr是節目時鐘參考，pcr、dts、pts都是對同一個系統時鐘的采樣值，pcr是遞增的，因此可以將其設置為dts值，音頻數據不需要pcr。如果沒有字段，ipad是可以播放的，但vlc無法播放。打包ts流時PAT和PMT表是沒有adaptation field的，不夠的長度直接補0xff即可。視頻流和音頻流都需要加adaptation field，通常加在一個幀的第一個ts包和最後一個ts包裏，中間的ts包不加。

PAT格式

table_id	8b	PAT表固定為0x00
section_syntax_indicator	1b	固定為1
zero	1b	固定為0
reserved	2b	固定為11
section_length	12b	後面數據的長度
transport_stream_id	16b	傳輸流ID，固定為0x0001
reserved	2b	固定為11
version_number	5b	版本號，固定為00000，如果PAT有變化則版本號加1
current_next_indicator	1b	固定為1，表示這個PAT表可以用，如果為0則要等待下一個PAT表
section_number	8b	固定為0x00
last_section_number	8b	固定為0x00
開始循環
program_number	16b	節目號為0x0000時表示這是NIT，節目號為0x0001時,表示這是PMT
reserved	3b	固定為111
PID	13b	節目號對應內容的PID值
結束循環
CRC32	32b	前面數據的CRC32校驗碼

PMT格式

table_id	8b	PMT表取值隨意，0x02
section_syntax_indicator	1b	固定為1
zero	1b	固定為0
reserved	2b	固定為11
section_length	12b	後面數據的長度
program_number	16b	頻道號碼，表示當前的PMT關聯到的頻道，取值0x0001
reserved	2b	固定為11
version_number	5b	版本號，固定為00000，如果PAT有變化則版本號加1
current_next_indicator	1b	固定為1
section_number	8b	固定為0x00
last_section_number	8b	固定為0x00
reserved	3b	固定為111
PCR_PID	13b	PCR(節目參考時鐘)所在TS分組的PID，指定為視頻PID
reserved	4b	固定為1111
program_info_length	12b	節目描述信息，指定為0x000表示沒有
開始循環
stream_type	8b	流類型，標誌是Video還是Audio還是其他數據，h.264編碼對應0x1b，aac編碼對應0x0f，mp3編碼對應0x03
reserved	3b	固定為111
elementary_PID	13b	與stream_type對應的PID
reserved	4b	固定為1111
ES_info_length	12b	描述信息，指定為0x000表示沒有
結束循環
CRC32	32b	前面數據的CRC32校驗碼

（2）pes層

pes層是在每一個視頻/音頻幀上加入了時間戳等信息，pes包內容很多，我們只留下最常用的。

pes start code	3B	開始碼，固定為0x000001
stream id	1B	音頻取值（0xc0-0xdf），通常為0xc0 視頻取值（0xe0-0xef），通常為0xe0
pes packet length	2B	後面pes數據的長度，0表示長度不限制， 只有視頻數據長度會超過0xffff
flag	1B	通常取值0x80，表示數據不加密、無優先級、備份的數據
flag	1B	取值0x80表示只含有pts，取值0xc0表示含有pts和dts
pes data length	1B	後面數據的長度，取值5或10
pts	5B	33bit值
dts	5B	33bit值

pts是顯示時間戳、dts是解碼時間戳，視頻數據兩種時間戳都需要，音頻數據的pts和dts相同，所以只需要pts。有pts和dts兩種時間戳是B幀引起的，I幀和P幀的pts等於dts。如果一個視頻沒有B幀，則pts永遠和dts相同。從文件中順序讀取視頻幀，取出的幀順序和dts順序相同。dts算法比較簡單，初始值 + 增量即可，pts計算比較復雜，需要在dts的基礎上加偏移量。

音頻的pes中只有pts（同dts），視頻的I、P幀兩種時間戳都要有，視頻B幀只要pts（同dts）。打包pts和dts就需要知道視頻幀類型，但是通過容器格式我們是無法判斷幀類型的，必須解析h.264內容才可以獲取幀類型。

舉例說明：

I P B B B P

讀取順序： 1 2 3 4 5 6

dts順序： 1 2 3 4 5 6

pts順序： 1 5 3 2 4 6

點播視頻dts算法：

dts = 初始值 + 90000 / video_frame_rate，初始值可以隨便指定，但是最好不要取0，video_frame_rate就是幀率，比如23、30。

pts和dts是以timescale為單位的，1s = 90000 time scale , 一幀就應該是90000/video_frame_rate 個timescale。

用一幀的timescale除以采樣頻率就可以轉換為一幀的播放時長

點播音頻dts算法：

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame這個值與編解碼相關，aac取值1024，mp3取值1158，audio_sample_rate是采樣率，比如24000、41000。AAC一幀解碼出來是每聲道1024個sample，也就是說一幀的時長為1024/sample_rate秒。所以每一幀時間戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。

直播視頻的dts和pts應該直接用直播數據流中的時間，不應該按公式計算。

（3）es層

es層指的就是音視頻數據，我們只介紹h.264視頻和aac音頻。

h.264視頻：

打包h.264數據我們必須給視頻數據加上一個nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定為0x00000001（幀開始）或0x000001（幀中）。h.264的數據是由slice組成的，slice的內容包括：視頻、sps、pps等。nalu type決定了後面的h.264數據內容。

F	1b	forbidden_zero_bit，h.264規定必須取0
NRI	2b	nal_ref_idc，取值0~3，指示這個nalu的重要性，I幀、sps、pps通常取3，P幀通常取2，B幀通常取0
Type	5b	參考下表

nal_unit_type	說明
0	未使用
1	非IDR圖像片，IDR指關鍵幀
2	片分區A
3	片分區B
4	片分區C
5	IDR圖像片，即關鍵幀
6	補充增強信息單元(SEI)
7	SPS序列參數集
8	PPS圖像參數集
9	分解符
10	序列結束
11	碼流結束
12	填充
13~23	保留
24~31	未使用

紅色字體顯示的內容是最常用的，打包es層數據時pes頭和es數據之間要加入一個type=9的nalu，關鍵幀slice前必須要加入type=7和type=8的nalu，而且是緊鄰。

aac音頻：

打包aac音頻必須加上一個adts(Audio Data Transport Stream)頭，共7Byte，adts包括fixed_header和variable_header兩部分，各28bit。

fixed_header

syncword	12b	固定為0xfff
id	1b	0表示MPEG-4，1表示MPEG-2
layer	2b	固定為00
protection_absent	1b	固定為1
profile	2b	取值0~3,1表示aac
sampling_frequency_index	4b	表示采樣率，0: 96000 Hz，1: 88200 Hz，2: 64000 Hz，3：48000 Hz，4: 44100 Hz，5: 32000 Hz，6: 24000 Hz，7: 22050 Hz，8: 16000 Hz，9: 12000 Hz，10: 11025 Hz，11: 8000 Hz，12: 7350 Hz
private_bit	1b	固定為0
channel_configuration	3b	取值0~7，1: 1 channel: front-center，2: 2 channels: front-left, front-right，3: 3 channels: front-center, front-left, front-right，4: 4 channels: front-center, front-left, front-right, back-center
original_copy	1b	固定為0
home	1b	固定為0

variable_header

copyright_identification_bit	1b	固定為0
copyright_identification_start	1b	固定為0
aac_frame_length	13b	包括adts頭在內的音頻數據總長度
adts_buffer_fullness	11b	固定為0x7ff
number_of_raw_data_blocks_in_frame	2b	固定為00

mp3音頻：

mp3音頻不需要加adts頭。

6.h264幀類型判斷

當nalu type=5或1時，表示後面跟著的數據是視頻數據，下面我們只列出前2項。

first_mb_in_slice	Golomb編碼	一般為0，一個slice為一幀圖像
slice_type	Golomb編碼	幀類型，2、4、7、9表示I幀，0、3、5、8表示P幀 ，1、6表示B幀。

7.mp4轉ts

我們假設mp4格式中的視頻編碼為h.264，音頻編碼為aac。我們從mp4中獲取的視頻信息包括：sps、pps、dts、pts、幀率、幀數據、ticks（每秒滴答數）。音頻信息包括：pts、采樣頻率、聲道數、幀數據。mp4文件的dts和ts文件的dts是需要進行換算的，都是初始值 + 增量，但是增量計算是不同的。

視頻信息獲取：

sps	stsd.avc1.avcC
pps	stsd.avc1.avcC
dts	stts
pts	stts + ctts
幀率	幀個數 / 總時長
timescale	trak.mdia.mdhd
幀數據	stsc + stco + stsz

音頻信息獲取：

pts	stts
采樣頻率	trak.mdia.mdhd
聲道數	stsd.mp4a
幀數據	stsc + stco + stsz

8.mp4中關於h264和aac的說明

mp4的stsd原子中包含很多關鍵的音視頻編解碼元信息。對於視頻數據，不同的編解碼格式stsd中包含的子原子類型是不同的。MP4的視頻H.264封裝有2種格式：h264和avc1，只要看到這兩個FOURCC（四字節編碼）。就可以肯定是h.264編碼，區別在於slice是否有起始碼。對於音頻數據，stsd中包含的子原子只會是mp4a，mp4a又包含了一個子原子esds，判斷音頻編碼格式的是esds中的第十一個字節，如果是0x40則說明是aac編碼，如果是0x69則說明是mp3。

• AVC1 描述:H.264 bitstream without start codes.一般通過ffmpeg轉碼生成的視頻，是不帶起始碼0×00000001的，但是帶有4字節的長度。

• H264 描述:H.264 bitstream with start codes.一般對於一下HDVD等電影的壓制格式，是帶有起始碼0×00000001的。

除了avc1和h264還可能是下面的FOURCC，只是名字不同而已。

• MEDIASUBTYPE_AVC1 ‘AVC1‘ H.264 bitstream without start codes.

• MEDIASUBTYPE_H264 ‘H264‘ H.264 bitstream with start codes.

• MEDIASUBTYPE_h264 ‘h264‘ Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

• MEDIASUBTYPE_X264 ‘X264‘ Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

• MEDIASUBTYPE_x264 ‘x264‘ Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

H264數據結構

NAL nal_unit_type中的

1（非IDR圖像的編碼條帶）、

2（編碼條帶數據分割塊A）、

3（編碼條帶數據分割塊B）、

4（編碼條帶數據分割塊C）、

5（IDR圖像的編碼條帶）種類型 6（SEI）、

7（SPS）、

8（PPS）

Slice種的三種編碼模式：I_slice、P_slice、B_slice frame的3種類型：I frame、P frame、 B frame 一幀的數據可以分為多個slice（片）一個幀是可以分割成多個Slice來編碼的，而一個Slice編碼之後被打包進一個NAL單元，不過NAL單元除了容納Slice編碼的碼流外，還可以容納其他數據，比如序列參數集SPS：

每個slice中的數據，在幀內預測只用到自己slice的數據， 與其他slice數據沒有依賴關系。 NAL 是用來將編碼的數據進行打包的。 比如，每一個slice 數據可以放在NAL 包中。 I 幀是自己獨立編碼，不依賴於其他frame 數據。 P frame 依賴 I frame 數據。 B frame 依賴 I frame, P frame 或其他 B frame 數據。

1、NAL、Slice與frame意思及相互關系 NAL指網絡提取層，裏面放一些與網絡相關的信息 Slice是片的意思，264中把圖像分成一幀（frame）或兩場（field），而幀又可以分成一個或幾個片（Slilce）；片由宏塊（MB）組成。宏塊是編碼處理的基本單元。

2、VCL視頻編碼層不做解釋。

3、NAL nal_unit_type為序列參數集（SPS）、圖像參數集（PPS）、增強信息（SEI）。表示後面的數據信息為序列參數集（SPS）、圖像參數集（PPS）、增強信息（SEI）。

4、H.264的參數集又分為序列參數集（Sequence parameter set）和圖像參數集（Pictureparameterset）。

序列參數集：包括一個圖像序列的所有信息，即兩個IDR圖像間的所有圖像信息。

圖像參數集：包括一個圖像的所有分片的所有相關信息，包括圖像類型、序列號等，解碼時某些序列號的丟 失可用來檢驗信息包的丟失與否。多個不同的序列和圖像參數集存儲在解碼器中，編碼器依據每個編碼分片的頭部的存儲位置來選擇適當的參數集，圖像參數集本身也包括使用的序列參數集參考信息。

總結：

NAL單元中首先會有一個H.264 NAL type，根據這個可以判斷是啥信息。如果是 H264NT_SLICE_DPA,H264NT_SLICE_DPB,H264NT_SLICE_DPC,H264NT_SLICE_IDR視頻數據相關的，裏面還會有Slicehead頭信息，根據這個頭信息，可以判斷屬於I-Slice（P-Slice或B-Slice），之後對於每個宏塊，都會有MB head信息，根據宏塊頭信息可以判斷塊模式。

1、H.264 碼流總體結構：

h264的功能分為兩層，視頻編碼層（VCL）和網絡提取層（NAL）。H.264 的編碼視頻序列包括一系列的NAL 單元，每個NAL 單元包含一個RBSP。一個原始的H.264 NALU 單元常由 [StartCode] [NALU Header] [NALU Payload] 三部分組成，其中 Start Code 用於標示這是一個NALU 單元的開始，必須是"00 00 00 01" 或"00 00 01"。

其中RBPS有分為幾種類型：

NAL的解碼單元的流程如下：

2、 H.264 NAL Header：

占一個字節，由三部分組成forbidden_bit(1bit)，nal_reference_bit(2bits)（優先級），nal_unit_type(5bits)（類型）。

forbidden_bit:禁止位。

nal_reference_bit：當前NAL的優先級，值越大，該NAL越重要。

nal_unit_type ：NAL類型。參見下表

幾個例子：

AAC

1.ADTS是個啥

ADTS全稱是(Audio Data Transport Stream)，是AAC的一種十分常見的傳輸格式。

記得第一次做demux的時候，把AAC音頻的ES流從FLV封裝格式中抽出來送給硬件解碼器時，不能播;保存到本地用pc的播放器播時，我靠也不能播。當時崩潰了，後來通過查找資料才知道。一般的AAC解碼器都需要把AAC的ES流打包成ADTS的格式，一般是在AAC ES流前添加7個字節的ADTS header。也就是說你可以吧ADTS這個頭看作是AAC的frameheader。

ADTS AAC
ADTS_header	AAC ES	ADTS_header	AAC ES	...	ADTS_header	AAC ES

2.ADTS內容及結構

ADTS 頭中相對有用的信息 采樣率、聲道數、幀長度。想想也是，我要是解碼器的話，你給我一堆得AAC音頻ES流我也解不出來。每一個帶ADTS頭信息的AAC流會清晰的告送解碼器他需要的這些信息。

一般情況下ADTS的頭信息都是7個字節，分為2部分：

adts_fixed_header();

adts_variable_header();

syncword ：同步頭 總是0xFFF, all bits must be 1，代表著一個ADTS幀的開始

ID：MPEG Version: 0 for MPEG-4, 1 for MPEG-2

Layer：always: ‘00‘

profile：表示使用哪個級別的AAC，有些芯片只支持AAC LC 。在MPEG-2 AAC中定義了3種：

sampling_frequency_index：表示使用的采樣率下標，通過這個下標在 Sampling Frequencies[ ]數組中查找得知采樣率的值。

There are 13 supported frequencies:

• 0: 96000 Hz
• 1: 88200 Hz
• 2: 64000 Hz
• 3: 48000 Hz
• 4: 44100 Hz
• 5: 32000 Hz
• 6: 24000 Hz
• 7: 22050 Hz
• 8: 16000 Hz
• 9: 12000 Hz
• 10: 11025 Hz
• 11: 8000 Hz
• 12: 7350 Hz
• 13: Reserved
• 14: Reserved
• 15: frequency is written explictly

channel_configuration: 表示聲道數

• 0: Defined in AOT Specifc Config
• 1: 1 channel: front-center
• 2: 2 channels: front-left, front-right
• 3: 3 channels: front-center, front-left, front-right
• 4: 4 channels: front-center, front-left, front-right, back-center
• 5: 5 channels: front-center, front-left, front-right, back-left, back-right
• 6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
• 7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
• 8-15: Reserved

frame_length : 一個ADTS幀的長度包括ADTS頭和AAC原始流.

adts_buffer_fullness：0x7FF 說明是碼率可變的碼流

3.將AAC打包成ADTS格式

如果是通過嵌入式高清解碼芯片做產品的話，一般情況的解碼工作都是由硬件來完成的。所以大部分的工作是把AAC原始流打包成ADTS的格式，然後丟給硬件就行了。

通過對ADTS格式的了解，很容易就能把AAC打包成ADTS。我們只需得到封裝格式裏面關於音頻采樣率、聲道數、元數據長度、aac格式類型等信息。然後在每個AAC原始流前面加上個ADTS頭就OK了。

貼上ffmpeg中添加ADTS頭的代碼，就可以很清晰的了解ADTS頭的結構：

[html] view plain copy

1. int ff_adts_write_frame_header(ADTSContext *ctx,
2. uint8_t *buf, int size, int pce_size)
3. {
4. PutBitContext pb;
6. init_put_bits(&pb, buf, ADTS_HEADER_SIZE);
8. /* adts_fixed_header */
9. put_bits(&pb, 12, 0xfff); /* syncword */
10. put_bits(&pb, 1, 0); /* ID */
11. put_bits(&pb, 2, 0); /* layer */
12. put_bits(&pb, 1, 1); /* protection_absent */
13. put_bits(&pb, 2, ctx->objecttype); /* profile_objecttype */
14. put_bits(&pb, 4, ctx->sample_rate_index);
15. put_bits(&pb, 1, 0); /* private_bit */
16. put_bits(&pb, 3, ctx->channel_conf); /* channel_configuration */
17. put_bits(&pb, 1, 0); /* original_copy */
18. put_bits(&pb, 1, 0); /* home */
20. /* adts_variable_header */
21. put_bits(&pb, 1, 0); /* copyright_identification_bit */
22. put_bits(&pb, 1, 0); /* copyright_identification_start */
23. put_bits(&pb, 13, ADTS_HEADER_SIZE + size + pce_size); /* aac_frame_length */
24. put_bits(&pb, 11, 0x7ff); /* adts_buffer_fullness */
25. put_bits(&pb, 2, 0); /* number_of_raw_data_blocks_in_frame */
27. flush_put_bits(&pb);
29. return 0;
30. }

TS視頻一