在rfc6184-h264文档5.4章节有详细说明、以及rfc7798-h265文档4.2章节中也有部分介绍。
一、NALU Header
● H264 NALU Header(1 byte)结构图如下:
F: 1 bit
forbidden_zero_bit,禁止位,大多数情况为0,表示NAL单元类型和有效载荷不应该包含误码或其它语
法错误。值为1,表示该NAL单元类型和有效载荷可能包含误码或者其它语法错误。
NRI: 2 bit
nal_ref_idc,nal 参考级别,该值一般为00、01、10、11(二进制),表示该NAL单元重要级别,如果
为0,可能解码器丢弃,不会导致花屏现象。该值必须遵循H264编码规范。比如:sps、pps、idr等NAL
单元时,该值必须为11(二进制)
Type:5 bit
nal_unit_type,代表nal单元类型,常见的该值为7(sps)、8(pps)、5(idr)等。
● H265 NALU Header(2 byte)结构图如下:
F: 1 bit
forbidden_zero_bit,禁止位,大多数情况为0,表示NAL单元类型和有效载荷不应该包含误码或其它语法
错误。值为1,表示该NAL单元类型和有效载荷可能包含误码或者其它语法错误。
Type: 6 bit
nal_uint_type,代表nal单元类型,允许NAL单元的类型编码数比 h264/AVC多一倍,达到64类,其中32类
作用在VCL NAL单元,32类用作non-VCL NAL单元。
LayerId:6 bit
nal_layer_id,hevc中等于0,扩展标识符。该语法未来用于标识CVS中可能出现的层,其中层包括空间可
伸缩层、质量可伸缩层、纹理视图或深度视图。
TID: 3 bit
nal_temporal_id_plus1,层识别信息。表示当前NAL单元属于哪个时域子层,时域标识符的值为0~6。
二、RTP有效载荷结构(Payload Structures)
有效载荷格式定义了三种不同的基本有效载荷结构。接收器可以通过RTP包有效载荷的第一个字节识别有效
载荷结构,该RTP包有效载荷的第一个字节共同充当RTP包有效载荷报头,并且在某些情况下,作为有效载荷的
第一个字节。这个字节总是被构造为一个NAL单元头。NAL单元类型字段(nalu_unit_type)表示存在哪种结构。可
能的结构如下:
● Single NAL Uint Packet(单个NAL单元包):在有效载荷中只包含一个NAL单元。NAL报头类型字段等于原
始NAL单元类型,即在1到23的范围内。单个NAL单元包必须包含一个NAL单元。这意味着即不能再聚合包中使
用,也不能在碎片单元中使用单个NAL单元包。由按RTP序列号顺序解包的单个NAL单元包组成的NAL单元流必
须符合NAL单元解码顺序。单个NAL单元包的结构如图所示:
● Aggregation Packets(聚合包):聚合包是此负载规范的NAL单元聚合方案。引入该方案时为了反映两个关键
目标网络的显著不同的MTU大小,有线IP网络(其MTU大小通常受以太网MTU大小的限制,大约为1500字节)
和基于IP或非基于IP(例如ITU-T H.234/M)的无线通信系统,其首选传输单元大小为254字节或更小。为了防止
两个世界之间的媒体转码,并避免不必要的分组开销,引入了NAL单元聚合方案。
主要有两种聚合包类型:
① Single-time aggregation packet(STAP):对具有相同NALU-times的NAL单元进行聚合。定义了两种类型
的STAP,一种没有DON(STAP-A),另一种包括DON(STAP-B)。DON(Decoding Order Number)
② Multi-time aggregation packet(MTAP):聚合具有不同NALU-times的NAL单元。定义了两种不同的MTAP,
不同的是NAL单元时间戳偏移量的长度。聚合报文中所携带的每个NAL单元封装在一个聚合单元中。聚合包的RTP
负载如图所示:
● Fragmentation Units(FUs):这种有效载荷类型允许将一个NAL单元分割成几个RTP包。这样做在应用层,
而不是依赖于下层的分片(IP网络层即网络协议进行分片)。FUs主要包含两种分片类型:FU-A和FU-B,FU-A
和FU-B的结构类似,只是FU-B比FU-A多了一个DON域。
1)H264 FUs结构
H264 FU-A的RTP负载如图所示:
H264 FU-B的RTP负载如图所示:
FU-B必须用于一个分片NAL单元的第一个分片单元的交错分组模式。NAL单元类型FU-B绝对不能在其它
任何情况下使用。换句话说,在交错分组模式下,每个被分片的NALU都有一个FU-B作为第一个片段,然后
是一个或多个FU-A片段。
H264 FU indicator定义如下:
1 //FU Indicator定义实际就是H264的NAL Header,H264
2 typedef struct _tagFUIndicator
3 {
4 uint8_t F : 1; /*1 bit,forbidden_zero_bit(禁止位),一般为0*/
5 uint8_t NRI : 2; /*2 bit,nal_ref_idc(nal参考级别),代表这一个NAL的重要级别,比如sps、pps、idr该值一般为11(二进制),由*/
6 uint8_t TYPE : 5; /* set to 28 or 29 */
7 } FUIndicator;
FU-A和FU-B的type字段分别为28和29,FUIndicator结构和NALU单元头定义类似,只是FU-A和FU-B中
的TYPE字段表示分片类型,而NALU单元中的TYPE为nalu_unit_type。
H264 FU header结构如下:
1 //FU Header定义,H264
2 typedef struct _tagH264FUHeader
3 {
4 uint8_t S : 1; /*1 bit,Start位,当设置为1时,Start位表示一个分片NAL单元的开始。当FU有效载荷不是分片NAL单元有效载荷起始时,该值被设置为0*/
5 uint8_t E : 1; /*1 bit,End位,当设置为1时,表示分片NAL单元的结束,即当该NAL单元分片最后一个分片时,该值为1,否则End位被设置为0*/
6 uint8_t R : 1; /*1 bit,预留位,一般为0*/
7 uint8_t Type : 5; /*5 bit,nalu_unit_type, set to nal type */
8 } H264FUHeader;
2)H265 Fus结构
H265 PayloadHdr定义(即H265的NAL Header)如下:
1 typedef struct tagH265NalHeader
2 {
3 uint8_t F : 1; /* start flag */
4 uint8_t Type : 6; /* end flag */
5 uint8_t LayerId : 6; /* end flag */
6 uint8_t Tid : 3; /* set to nal type */
7 } H265NalHeader;
H265 FU header结构如图:
1 typedef struct tagH265FUHeader
2 {
3 uint8_t S : 1; /* start flag */
4 uint8_t E : 1; /* end flag */
5 uint8_t Type : 6; /* set to nal type */
6 } H265FUHeader;
三、三种分包模式和适用场景
● Single NAL unit mode(单个NALU单元模式):适用于复合ITU-T建议H.241的会话系统。
● Non-interleaved mode(非交错模式):非交错模式是针对可能不符合ITU-T建议H.241的会话系
统。在非交错模式下,NAL单元按NAL单元解码顺序传输。
● Interleaved mode(交错模式):交错模式适用于不需要非常低的端到端延时的系统。交错模式
允许在NAL单元解码顺序之外传输的NAL单元。
手机扫一扫
移动阅读更方便
你可能感兴趣的文章